基于python爬取链家二手房信息代码示例


Posted in Python onOctober 21, 2020

基本环境配置

  • python 3.6
  • pycharm
  • requests
  • parsel
  • time

相关模块pip安装即可

确定目标网页数据

基于python爬取链家二手房信息代码示例

哦豁,这个价格..................看到都觉得脑阔疼

通过开发者工具,可以直接找到网页返回的数据~

基于python爬取链家二手房信息代码示例
基于python爬取链家二手房信息代码示例

每一个二手房的数据,都在网页的 li 标签里面,咱们可以获取网页返回的数据,然后通过解析,就可以获取到自己想要的数据了~

获取网页数据

import requests
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)

解析网页数据

import parsel
selector = parsel.Selector(response.text)
lis = selector.css('.sellListContent li')
dit = {}
for li in lis:
  title = li.css('.title a::text').get()
  dit['标题'] = title
  positionInfo = li.css('.positionInfo a::text').getall()
  info = '-'.join(positionInfo)
  dit['开发商'] = info
  houseInfo = li.css('.houseInfo::text').get()
  dit['房子信息'] = houseInfo
  followInfo = li.css('.followInfo::text').get()
  dit['发布周期'] = followInfo
  Price = li.css('.totalPrice span::text').get()
  dit['售价/万'] = Price
  unitPrice = li.css('.unitPrice span::text').get()
  dit['单价'] = unitPrice
  csv_writer.writerow(dit)
  print(dit)

基于python爬取链家二手房信息代码示例

保存数据

import csv
f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价'])
csv_writer.writeheader()
csv_writer.writerow(dit)
f.close()

基于python爬取链家二手房信息代码示例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用Python实现换行符转换的脚本的教程
Apr 16 Python
Ubuntu下安装PyV8
Mar 13 Python
Python实现的随机森林算法与简单总结
Jan 30 Python
python实现txt文件格式转换为arff格式
May 31 Python
Python函数的参数常见分类与用法实例详解
Mar 30 Python
python 对字典按照value进行排序的方法
May 09 Python
浅谈Django中view对数据库的调用方法
Jul 18 Python
浅谈django url请求与数据库连接池的共享问题
Aug 29 Python
python读取csv文件指定行的2种方法详解
Feb 13 Python
Python使用ElementTree美化XML格式的操作
Mar 06 Python
python matplotlib:plt.scatter() 大小和颜色参数详解
Apr 14 Python
python Django 反向访问器的外键冲突解决
May 20 Python
如何让PyQt5中QWebEngineView与JavaScript交互
Oct 21 #Python
Python为何不支持switch语句原理详解
Oct 21 #Python
基于Python爬取素材网站音频文件
Oct 21 #Python
ffmpeg+Python实现B站MP4格式音频与视频的合并示例代码
Oct 21 #Python
运行Python编写的程序方法实例
Oct 21 #Python
Python读写csv文件流程及异常解决
Oct 20 #Python
Python脚本打包成可执行文件过程解析
Oct 20 #Python
You might like
使用php实现下载生成某链接快捷方式的解决方法
2013/05/07 PHP
php控制文件下载速度的方法
2015/03/24 PHP
将HTMLCollection/NodeList/伪数组转换成数组的实现方法
2011/06/20 Javascript
jQuery :nth-child前有无空格的区别分析
2011/07/11 Javascript
JavaScript中的Math 使用介绍
2014/04/21 Javascript
javascript数据结构与算法之检索算法
2015/04/04 Javascript
javascript解决IE6下hover问题的方法
2015/07/28 Javascript
Jquery zTree 树控件异步加载操作
2016/02/25 Javascript
深入理解Javascript中的自执行匿名函数
2016/06/03 Javascript
javascript实现抽奖程序的简单实例
2016/06/07 Javascript
浅谈JS的基础类型与引用类型
2016/09/13 Javascript
jQuery基本筛选选择器实例代码
2017/02/06 Javascript
浅谈vue中慎用style的scoped属性
2017/11/28 Javascript
微信小程序页面滚动到指定位置代码实例
2019/09/07 Javascript
jQuery鼠标滑过横向时间轴样式(代码详解)
2019/11/01 jQuery
微信小程序tab左右滑动切换功能的实现代码
2021/02/08 Javascript
[00:56]2014DOTA2国际邀请赛 DK、iG 赛前探访
2014/07/10 DOTA
python类:class创建、数据方法属性及访问控制详解
2016/07/25 Python
Python实现公历(阳历)转农历(阴历)的方法示例
2017/08/22 Python
python中map()函数的使用方法示例
2017/09/29 Python
python 去除txt文本中的空格、数字、特定字母等方法
2018/07/24 Python
对pandas中Series的map函数详解
2018/07/25 Python
python实现播放音频和录音功能示例代码
2018/12/30 Python
Django框架教程之中间件MiddleWare浅析
2019/12/29 Python
python实现替换word中的关键文字(使用通配符)
2020/02/13 Python
python GUI库图形界面开发之PyQt5访问系统剪切板QClipboard类详细使用方法与实例
2020/02/27 Python
Jupyter Notebook的连接密码 token查询方式
2020/04/21 Python
tensorflow dataset.shuffle、dataset.batch、dataset.repeat顺序区别详解
2020/06/03 Python
Python try except else使用详解
2021/01/12 Python
利用CSS3的3D效果制作正方体
2020/03/10 HTML / CSS
突袭HTML5之Javascript API扩展5—其他扩展(应用缓存/服务端消息/桌面通知)
2013/01/31 HTML / CSS
美国开幕式潮店:Opening Ceremony
2018/02/10 全球购物
2014小学语文教学工作总结
2014/12/17 职场文书
中秋节慰问信
2015/02/15 职场文书
环保建议书作文400字
2015/09/14 职场文书
错误码NET::ERR_CERT_DATE_INVALID证书已过期解决方法?
2022/07/07 数码科技