基于python爬取链家二手房信息代码示例


Posted in Python onOctober 21, 2020

基本环境配置

  • python 3.6
  • pycharm
  • requests
  • parsel
  • time

相关模块pip安装即可

确定目标网页数据

基于python爬取链家二手房信息代码示例

哦豁,这个价格..................看到都觉得脑阔疼

通过开发者工具,可以直接找到网页返回的数据~

基于python爬取链家二手房信息代码示例
基于python爬取链家二手房信息代码示例

每一个二手房的数据,都在网页的 li 标签里面,咱们可以获取网页返回的数据,然后通过解析,就可以获取到自己想要的数据了~

获取网页数据

import requests
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)

解析网页数据

import parsel
selector = parsel.Selector(response.text)
lis = selector.css('.sellListContent li')
dit = {}
for li in lis:
  title = li.css('.title a::text').get()
  dit['标题'] = title
  positionInfo = li.css('.positionInfo a::text').getall()
  info = '-'.join(positionInfo)
  dit['开发商'] = info
  houseInfo = li.css('.houseInfo::text').get()
  dit['房子信息'] = houseInfo
  followInfo = li.css('.followInfo::text').get()
  dit['发布周期'] = followInfo
  Price = li.css('.totalPrice span::text').get()
  dit['售价/万'] = Price
  unitPrice = li.css('.unitPrice span::text').get()
  dit['单价'] = unitPrice
  csv_writer.writerow(dit)
  print(dit)

基于python爬取链家二手房信息代码示例

保存数据

import csv
f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价'])
csv_writer.writeheader()
csv_writer.writerow(dit)
f.close()

基于python爬取链家二手房信息代码示例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python文件右键找不到IDLE打开项解决办法
Jun 08 Python
Python Paramiko模块的使用实际案例
Feb 01 Python
儿童学习python的一些小技巧
May 27 Python
django如何连接已存在数据的数据库
Aug 14 Python
浅谈numpy生成数组的零值问题
Nov 12 Python
使用Python3+PyQT5+Pyserial 实现简单的串口工具方法
Feb 13 Python
Django框架创建mysql连接与使用示例
Jul 29 Python
Python hmac模块使用实例解析
Dec 24 Python
Django之腾讯云短信的实现
Jun 12 Python
Python自动化测试中yaml文件读取操作
Aug 20 Python
selenium+headless chrome爬虫的实现示例
Jan 08 Python
python实现马丁策略回测3000只股票的实例代码
Jan 22 Python
如何让PyQt5中QWebEngineView与JavaScript交互
Oct 21 #Python
Python为何不支持switch语句原理详解
Oct 21 #Python
基于Python爬取素材网站音频文件
Oct 21 #Python
ffmpeg+Python实现B站MP4格式音频与视频的合并示例代码
Oct 21 #Python
运行Python编写的程序方法实例
Oct 21 #Python
Python读写csv文件流程及异常解决
Oct 20 #Python
Python脚本打包成可执行文件过程解析
Oct 20 #Python
You might like
jq的get传参数在utf-8中乱码问题的解决php版
2008/07/23 PHP
Codeigniter+PHPExcel实现导出数据到Excel文件
2014/06/12 PHP
phpstorm编辑器乱码问题解决
2014/12/01 PHP
PHP正则表达式处理函数(PCRE 函数)实例小结
2019/05/09 PHP
[JS]点出统计器
2020/10/11 Javascript
js下用eval生成JSON对象
2010/09/17 Javascript
用jquery中插件dialog实现弹框效果实例代码
2013/11/15 Javascript
浅析jquery的js图表组件highcharts
2014/03/06 Javascript
js的window.showModalDialog及window.open用法实例分析
2015/01/29 Javascript
浅谈js中变量初始化
2015/02/03 Javascript
深入理解JQuery中的事件与动画
2016/05/18 Javascript
使用AngularJS 跨站请求如何解决jsonp请求问题
2017/01/16 Javascript
JQuery实现定时刷新功能代码
2017/05/09 jQuery
Node.js实现简单管理系统
2019/09/23 Javascript
微信小程序获取公众号文章列表及显示文章的示例代码
2020/03/10 Javascript
jquery实现轮播图特效
2020/04/12 jQuery
JavaScript 监听组合按键思路及代码实现
2020/07/28 Javascript
JS实现放大镜效果
2020/09/21 Javascript
[05:05]第三天的dota2
2013/07/29 DOTA
Python+django实现文件上传
2016/01/17 Python
python三引号输出方法
2019/02/27 Python
python支持多继承吗
2020/06/19 Python
python 实现汉诺塔游戏
2020/11/28 Python
Ralph Lauren英国官方网站:Ralph Lauren UK
2018/04/03 全球购物
英国创新设计文具、卡片和礼品包装网站:Paperchase
2018/07/14 全球购物
环境工程毕业生自荐信
2013/11/17 职场文书
自荐书格式
2013/12/01 职场文书
土木工程专业个人求职信
2013/12/05 职场文书
小学教师办公室制度
2014/02/03 职场文书
小学教师国培感言
2014/02/08 职场文书
推广普通话标语
2014/06/27 职场文书
2014教师研修学习体会
2014/07/08 职场文书
校园新闻广播稿5篇
2014/10/10 职场文书
周末问候语大全
2015/11/10 职场文书
《少年闰土》教学反思
2016/02/18 职场文书
互联网创业商业模式以及赚钱法则有哪些?
2019/10/12 职场文书