基于python爬取链家二手房信息代码示例


Posted in Python onOctober 21, 2020

基本环境配置

  • python 3.6
  • pycharm
  • requests
  • parsel
  • time

相关模块pip安装即可

确定目标网页数据

基于python爬取链家二手房信息代码示例

哦豁,这个价格..................看到都觉得脑阔疼

通过开发者工具,可以直接找到网页返回的数据~

基于python爬取链家二手房信息代码示例
基于python爬取链家二手房信息代码示例

每一个二手房的数据,都在网页的 li 标签里面,咱们可以获取网页返回的数据,然后通过解析,就可以获取到自己想要的数据了~

获取网页数据

import requests
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)

解析网页数据

import parsel
selector = parsel.Selector(response.text)
lis = selector.css('.sellListContent li')
dit = {}
for li in lis:
  title = li.css('.title a::text').get()
  dit['标题'] = title
  positionInfo = li.css('.positionInfo a::text').getall()
  info = '-'.join(positionInfo)
  dit['开发商'] = info
  houseInfo = li.css('.houseInfo::text').get()
  dit['房子信息'] = houseInfo
  followInfo = li.css('.followInfo::text').get()
  dit['发布周期'] = followInfo
  Price = li.css('.totalPrice span::text').get()
  dit['售价/万'] = Price
  unitPrice = li.css('.unitPrice span::text').get()
  dit['单价'] = unitPrice
  csv_writer.writerow(dit)
  print(dit)

基于python爬取链家二手房信息代码示例

保存数据

import csv
f = open('二手房信息.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '开发商', '房子信息', '发布周期', '售价/万', '单价'])
csv_writer.writeheader()
csv_writer.writerow(dit)
f.close()

基于python爬取链家二手房信息代码示例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python显示天气预报
Mar 02 Python
python使用正则表达式检测密码强度源码分享
Jun 11 Python
Python的Django框架中settings文件的部署建议
May 30 Python
Python实现新浪博客备份的方法
Apr 27 Python
Python+selenium实现自动循环扔QQ邮箱漂流瓶
May 29 Python
Python numpy.array()生成相同元素数组的示例
Nov 12 Python
pytz格式化北京时间多出6分钟问题的解决方法
Jun 21 Python
python批量修改ssh密码的实现
Aug 08 Python
在 Linux/Mac 下为Python函数添加超时时间的方法
Feb 20 Python
python开发前景如何
Jun 11 Python
分享一个python的aes加密代码
Dec 22 Python
python利用appium实现手机APP自动化的示例
Jan 26 Python
如何让PyQt5中QWebEngineView与JavaScript交互
Oct 21 #Python
Python为何不支持switch语句原理详解
Oct 21 #Python
基于Python爬取素材网站音频文件
Oct 21 #Python
ffmpeg+Python实现B站MP4格式音频与视频的合并示例代码
Oct 21 #Python
运行Python编写的程序方法实例
Oct 21 #Python
Python读写csv文件流程及异常解决
Oct 20 #Python
Python脚本打包成可执行文件过程解析
Oct 20 #Python
You might like
用PHP调用数据库的存贮过程
2006/10/09 PHP
php-fpm配置详解
2014/02/12 PHP
ubuntu下配置nginx+php+mysql详解
2015/09/10 PHP
PHP中substr_count()函数获取子字符串出现次数的方法
2016/01/07 PHP
Laravel框架自定义公共函数的引入操作示例
2019/04/16 PHP
网页中实现浏览器的最大,最小化和关闭按钮
2007/03/12 Javascript
javascript 强制刷新页面的实现代码
2009/12/13 Javascript
js遍历td tr等html元素
2012/12/13 Javascript
JS实现切换标签页效果实例代码
2013/11/01 Javascript
jquery xMarquee实现文字水平无缝滚动效果
2014/04/29 Javascript
js实现图片从左往右渐变切换效果的方法
2015/02/06 Javascript
EasyUI在表单提交之前进行验证的实例代码
2016/06/24 Javascript
jQuery实现自动输入email、时间和域名的方法
2016/08/24 Javascript
jQuery UI Grid 模态框中的表格实例代码
2017/04/01 jQuery
JavaScript函数中的this四种绑定形式
2017/08/15 Javascript
JavaScript requestAnimationFrame动画详解
2017/09/14 Javascript
基于vue-cli3创建libs库的实现方法
2019/12/04 Javascript
[55:44]完美世界DOTA2联赛决赛 FTD vs Phoenix 第二场 11.08
2020/11/11 DOTA
学习python类方法与对象方法
2016/03/15 Python
Python安装第三方库及常见问题处理方法汇总
2016/09/13 Python
Python实现矩阵加法和乘法的方法分析
2017/12/19 Python
python 获取当天凌晨零点的时间戳方法
2018/05/22 Python
python3 实现一行输入,空格隔开的示例
2018/11/14 Python
Python-Tkinter Text输入内容在界面显示的实例
2019/07/12 Python
Django logging配置及使用详解
2019/07/23 Python
基于python解线性矩阵方程(numpy中的matrix类)
2019/10/21 Python
在Python中用GDAL实现矢量对栅格的切割实例
2020/03/11 Python
html5 迷宫游戏(碰撞检测)实例一
2013/07/25 HTML / CSS
24个canvas基础知识小结
2014/12/17 HTML / CSS
纽约的奢华内衣店:Journelle
2016/07/29 全球购物
美国领先的在线邮轮旅游公司:CruiseDirect
2018/06/07 全球购物
机关作风建设心得体会
2014/10/22 职场文书
退休职工欢送会致辞
2015/08/01 职场文书
售房协议书范本
2015/08/11 职场文书
如何书写授权委托书?
2019/06/25 职场文书
JavaScript最完整的深浅拷贝实现方式详解
2022/02/28 Javascript