2022年 11月 9日

Python爬虫之链家二手房数据爬取

Python 依赖模块：

  • requests
  • parsel
  • csv

功能要求：

请求网页

打开开发者工具（ F12或者鼠标右键点击检查 ）选择 notework 查看数据返回的内容。

 通过开发者工具可以看到，网站是静态网页数据，请求url地址是可以直接获取数据内容的。

  1. url = 'https://cs.lianjia.com/ershoufang/'
  2. headers = {
  3.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
  4.                       'Chrome/81.0.4044.138 '
  5.                       'Safari/537.36 '
  6.     }
  7.     response = requests.get(url=url, headers=headers)
  8.     print(response.text)

解析数据

网站是静态网页数据，那么就可以直接在开发者工具中 Elements 查看数据在哪

 如上图所示，相关的数据内容都包含在 li 标签里面。通过 parsel 解析库，进行解析提取数据就可以了。

  1.  selector = parsel.Selector(response.text)
  2.     lis = selector.css('.sellListContent li')
  3.     for li in lis:
  4.         # 标题
  5.         title = li.css('.title a::text').get()
  6.         # 地址
  7.         positionInfo = li.css('.positionInfo a::text').getall()
  8.  
  9.         community = ''
  10.         address = ''
  11.         if len(positionInfo):
  12.             # 小区
  13.             community = positionInfo[0]
  14.             # 地名
  15.             address = positionInfo[1]
  16.         # 房子基本信息
  17.         houseInfo = li.css('.houseInfo::text').get()
  18.         # 房价
  19.         print('数据类型:', type(li.css('.totalPrice span::text').get()))
  20.         txt = li.css('.totalPrice span::text').get()
  21.         Price = ''
  22.         if isinstance(txt, str):
  23.             Price = li.css('.totalPrice span::text').get() + '万'
  24.         # 单价
  25.         print('单价数据类型:', type(li.css('.unitPrice span::text').get()))
  26.         txt = li.css('.unitPrice span::text').get()
  27.         unitPrice = ''
  28.         if isinstance(txt, str):
  29.             unitPrice = li.css('.unitPrice span::text').get().replace('单价', '')
  30.         # 发布信息
  31.         followInfo = li.css('.followInfo::text').get()
  32.         dit = {
  33.             '标题': title,
  34.             '小区': community,
  35.             '地名': address,
  36.             '房子基本信息': houseInfo,
  37.             '房价': Price,
  38.             '单价': unitPrice,
  39.             '发布信息': followInfo,
  40.         }
  41.         print(dit)

保存数据（数据持久化）

使用csv模块，把数据保存到Excel里面

  1.         # 创建文件
  2.         f = open('长沙二手房数据.csv', mode='a', encoding='utf-8', newline='')
  3.         csv_writer = csv.DictWriter(f, fieldnames=['标题', '小区', '地名', '房子基本信息',
  4.                                                    '房价', '单价', '发布信息'])
  5.         # 写入表头
  6.         csv_writer.writeheader()
  7.         '''
  8.         '''
  9.         csv_writer.writerow(dit)

多页爬取

  1. for page in range(1, 101):
  2.     url = 'https://cs.lianjia.com/ershoufang/'
  3.     downloadLianjia(url)
  4.  
  5. def downloadLianjia(url):
  6.     headers = {
  7.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
  8.                       'Chrome/81.0.4044.138 '
  9.                       'Safari/537.36 '
  10.     }
  11.     response = requests.get(url=url, headers=headers)
  12.     print(response.text)
  13.  
  14.     selector = parsel.Selector(response.text)
  15.     lis = selector.css('.sellListContent li')
  16.     for li in lis:
  17.         # 标题
  18.         title = li.css('.title a::text').get()
  19.         # 地址
  20.         positionInfo = li.css('.positionInfo a::text').getall()
  21.  
  22.         community = ''
  23.         address = ''
  24.         if len(positionInfo):
  25.             # 小区
  26.             community = positionInfo[0]
  27.             # 地名
  28.             address = positionInfo[1]
  29.         # 房子基本信息
  30.         houseInfo = li.css('.houseInfo::text').get()
  31.         # 房价
  32.         print('数据类型:', type(li.css('.totalPrice span::text').get()))
  33.         txt = li.css('.totalPrice span::text').get()
  34.         Price = ''
  35.         if isinstance(txt, str):
  36.             Price = li.css('.totalPrice span::text').get() + '万'
  37.         # 单价
  38.         print('单价数据类型:', type(li.css('.unitPrice span::text').get()))
  39.         txt = li.css('.unitPrice span::text').get()
  40.         unitPrice = ''
  41.         if isinstance(txt, str):
  42.             unitPrice = li.css('.unitPrice span::text').get().replace('单价', '')
  43.         # 发布信息
  44.         followInfo = li.css('.followInfo::text').get()
  45.         dit = {
  46.             '标题': title,
  47.             '小区': community,
  48.             '地名': address,
  49.             '房子基本信息': houseInfo,
  50.             '房价': Price,
  51.             '单价': unitPrice,
  52.             '发布信息': followInfo,
  53.         }
  54.         print(dit)
  55.  
  56.         # 创建文件
  57.         f = open('长沙二手房数据.csv', mode='a', encoding='utf-8', newline='')
  58.         csv_writer = csv.DictWriter(f, fieldnames=['标题', '小区', '地名', '房子基本信息',
  59.                                                    '房价', '单价', '发布信息'])
  60.         # 写入表头
  61.         csv_writer.writeheader()
  62.         '''
  63.         '''
  64.         csv_writer.writerow(dit)

效果展示：