基于python爬取链家二手房信息代码示例


Posted in Python onOctober 21, 2020

基本环境配置

  • python 3.6
  • pycharm
  • requests
  • parsel
  • time

相关模块pip安装即可

确定目标网页数据

基于python爬取链家二手房信息代码示例

哦豁,这个价格..................看到都觉得脑阔疼

通过开发者工具,可以直接找到网页返回的数据~

基于python爬取链家二手房信息代码示例
基于python爬取链家二手房信息代码示例

每一个二手房的数据,都在网页的 li 标签里面,咱们可以获取网页返回的数据,然后通过解析,就可以获取到自己想要的数据了~

获取网页数据

import requests
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)

解析网页数据

import parsel
selector = parsel.Selector(response.text)
lis = selector.css('.sellListContent li')
dit = {}
for li in lis:
  title = li.css('.title a::text').get()
  dit['标题'] = title
  positionInfo = li.css('.positionInfo a::text').getall()
  info = '-'.join(positionInfo)
  dit['开发商'] = info
  houseInfo = li.css('.houseInfo::text').get()
  dit['房子信息'] = houseInfo
  followInfo = li.css('.followInfo::text').get()
  dit['发布周期'] = followInfo
  Price = li.css('.totalPrice span::text').get()
  dit['售价/万'] = Price
  unitPrice = li.css('.unitPrice span::text').get()
  dit['单价'] = unitPrice
  csv_writer.writerow(dit)
  print(dit)

基于python爬取链家二手房信息代码示例

保存数据

import csv
f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价'])
csv_writer.writeheader()
csv_writer.writerow(dit)
f.close()

基于python爬取链家二手房信息代码示例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python基础入门之seed()方法的使用
May 15 Python
Python文档生成工具pydoc使用介绍
Jun 02 Python
Python读取sqlite数据库文件的方法分析
Aug 07 Python
在python中使用正则表达式查找可嵌套字符串组
Oct 24 Python
python list删除元素时要注意的坑点分享
Apr 18 Python
使用pip发布Python程序的方法步骤
Oct 11 Python
python判断文件是否存在,不存在就创建一个的实例
Feb 18 Python
python字符串替换re.sub()方法解析
Sep 18 Python
浅谈django 模型类使用save()方法的好处与注意事项
Mar 28 Python
使用ITK-SNAP进行抠图操作并保存mask的实例
Jul 01 Python
Python利用matplotlib绘制散点图的新手教程
Nov 05 Python
python3中确保枚举值代码分析
Dec 02 Python
如何让PyQt5中QWebEngineView与JavaScript交互
Oct 21 #Python
Python为何不支持switch语句原理详解
Oct 21 #Python
基于Python爬取素材网站音频文件
Oct 21 #Python
ffmpeg+Python实现B站MP4格式音频与视频的合并示例代码
Oct 21 #Python
运行Python编写的程序方法实例
Oct 21 #Python
Python读写csv文件流程及异常解决
Oct 20 #Python
Python脚本打包成可执行文件过程解析
Oct 20 #Python
You might like
利用PHP创建动态图像
2006/10/09 PHP
php循环输出数据库内容的代码
2008/05/24 PHP
php读取富文本的时p标签会出现红线是怎么回事
2014/05/13 PHP
百度工程师讲PHP函数的实现原理及性能分析(二)
2015/05/13 PHP
PHP中用Trait封装单例模式的实现
2019/12/18 PHP
csdn 博客的css样式 v3
2009/02/24 Javascript
模仿jQuery each函数的链式调用
2009/07/22 Javascript
一个简单的js渐显(fadeIn)渐隐(fadeOut)类
2010/06/19 Javascript
JQuery之focus函数使用介绍
2013/08/20 Javascript
jQuery选择器源码解读(四):tokenize方法的Expr.preFilter
2015/03/31 Javascript
JavaScript toUpperCase()方法使用详解
2016/08/26 Javascript
15个非常实用的JavaScript代码片段
2016/12/18 Javascript
浅谈angular2的http请求返回结果的subcribe注意事项
2017/03/01 Javascript
详解AngularJS用Interceptors来统一处理HTTP请求和响应
2017/06/08 Javascript
微信小程序自定义组件
2017/08/16 Javascript
《javascript少儿编程》location术语总结
2018/05/27 Javascript
Vue用v-for给循环标签自身属性添加属性值的方法
2018/10/18 Javascript
js实现跳一跳小游戏
2020/07/31 Javascript
深入理解Python中各种方法的运作原理
2015/06/15 Python
Python实现迭代时使用索引的方法示例
2018/06/05 Python
详解django+django-celery+celery的整合实战
2019/03/19 Python
Python字符串内置函数功能与用法总结
2019/04/16 Python
Python 中Django验证码功能的实现代码
2019/06/20 Python
django 邮件发送模块smtp使用详解
2019/07/22 Python
tensorflow 获取所有variable或tensor的name示例
2020/01/04 Python
pycharm部署、配置anaconda环境的教程
2020/03/24 Python
CSS3 please 跨浏览器的CSS3产生器
2010/03/14 HTML / CSS
用css3制作纸张效果(外翻卷角)
2013/02/01 HTML / CSS
HTML5是否真的可以取代Flash
2010/02/10 HTML / CSS
使用canvas绘制超炫时钟
2014/12/17 HTML / CSS
Canvas绘制浮动球效果的示例
2017/12/29 HTML / CSS
编程实现当输入某产品代码则打印出该产品记录的功能
2014/05/03 面试题
员工自我鉴定范文
2013/10/06 职场文书
通知格式
2015/04/27 职场文书
开学季:喜迎新生,迎新标语少不了
2019/11/07 职场文书
java中为什么说子类的构造方法默认访问的是父类的无参构造方法
2022/04/13 Java/Android