Python爬虫之爬取二手房信息


Posted in Python onApril 27, 2021

前言

说到二手房信息,不知道你们心里最先跳出来的公司(网站)是什么,反正我心里第一个跳出来的是网站是 58 同城。哎呦,我这暴脾气,想到就赶紧去干。

但很显然,我失败了。说显然,而不是不幸,这是因为 58 同城是大公司,我这点本事爬不了数据是再正常不过的了。下面来看看 58 同城的反爬手段了。这是我爬取下来的网页源码。

Python爬虫之爬取二手房信息

我们看到爬取下来的源码有很多英文大写字母和数字是网页源码中没有的,后来我了解到 58 同城对自己的网站的源码进行了文本加密,所以就出现了我爬取到的情况。

爬取二手房信息

我打开 58 同城的 robots 协议。

Python爬虫之爬取二手房信息

好家伙,不愧是大公司,所有的动态网址都不让爬取,打扰了。我只好转头离开,去寻找可以让我这种小白爬取的二手房网站。于是我找到了c21网站,不知道是我的原因,还是别的原因,反正我是没有找到这个网站的 robots 协议。不管了,既然没找到,就默认没有吧,直接开始爬取。

我本来打算通过二手房的目录跳到一个具体信息,然后爬取二手房的一些基本信息和属性。

Python爬虫之爬取二手房信息
Python爬虫之爬取二手房信息

像我红笔圈起来的部分。但很可惜我失败了,后来我看了看红笔圈起来的部分的爬取到的源码。

Python爬虫之爬取二手房信息

好家伙,还可以这样。不过这怎么可以难倒机智的我?(其实我真不知道怎么解决它)。没关系,之前的源码里不是有类似的信息吗?我只好将就一下了。

Python爬虫之爬取二手房信息

然后是翻页。翻页问题很好解决,我们很快就发现网页都是 https://bj.c21.com.cn/ershoufang/pg2/。其中的页数和 pg 后面的数字有关。

然后就是分析这些数据源码的位置了。

Python爬虫之爬取二手房信息

首先,我们发现我们要爬取的数据全在 li 标签里,所以我们可以先获得 li 标签的列表。伪代码就像这样。

form lxml import etree
……   ……
tree = etree.HTML(源码)
li_list = tree.xpath( li 标签的路径)

这时候我们获得的就是 li 标签的 etree 的类,可以继续使用 etree 类里的函数。然后我们就可以利用 for 循环提出不同房源的 li 标签,根据自己的需要获取文本信息。

欧克,了解了这些(感觉源码前前后后就是四个字 ”我是菜鸡“ )我们就可以开始写代码了。

import requests
from lxml import etree
import re

if __name__ == "__main__":
    # UA伪装
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36"
        }

    for pg in range(1, 3): # 翻两页
        # 指定 url
        url = "https://bj.c21.com.cn/ershoufang/pg%s/" % str(pg)

        # 获取网页源码
        page = requests.get(url = url, headers = header).text

        # xpath 解析
        tree = etree.HTML(page)
        li_list = tree.xpath('//ul[@id="availability"]/li') 
        for li in li_list:
            title = li.xpath('div[2]/div/a/text()')[0] # 房子的名称
            # print(title[0]) # 测试
            add = li.xpath('div[2]/div/p//a/text()') # 地址
            add = add[-2: ] + add[0:1] # 地址范围由大到小
            # print(add) # 测试
            div_list = li.xpath('div[2]/div[2]/div')
            # 具体信息
            message_list = ["建筑面积", "房屋户型", "房屋朝向", "所在楼层", "装修情况", "建成时间"]
            for i in range(6):
                div = div_list[i]
                message = div.xpath('span/text()')[0]
                message = re.sub("\s", "", str(message)) # 因为发现获取的文本有很多换行符和空格,所以需要去掉
                message = re.sub("\\n", "", str(message))
                message_list[i] = message_list[i] + ":" + message
            # print(message_list) # 测试
            # 交通情况
            traffic = li.xpath('div[2]/div[4]//text()')
            # print(traffic) # 测试
            # 价格情况
            price = li.xpath('div[2]/div[3]//text()')
            price = price[0] + price[1]
            # print(price) # 测试
            with open("C:\\Users\\ASUS\\Desktop\\CSDN\\数据解析\\xpath\\二手房\\" + "二手房.txt", "a", encoding = "utf-8") as fp:
                fp.write(title + "\n")
                for message in message_list:
                    fp.write(message + "\n")
                if traffic == []:
                    fp.write("交通情况:无介绍" + "\n")
                else:
                    fp.write("交通情况:" + traffic[0] + "\n")
                fp.write("价格:" + price + "\n\n")
            print(title, "下载完成!!!")

    print("over!!!")

爬取结果

最后的运行结果就像这样

Python爬虫之爬取二手房信息

到此这篇关于Python爬虫之爬取二手房信息的文章就介绍到这了,更多相关Python爬取二手房信息内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python程序设计入门(2)变量类型简介
Jun 16 Python
python编程开发之日期操作实例分析
Nov 13 Python
使用pycharm生成代码模板的实例
May 23 Python
python+opencv实现阈值分割
Dec 26 Python
python3实现表白神器
Apr 09 Python
windows10下安装TensorFlow Object Detection API的步骤
Jun 13 Python
解决python xx.py文件点击完之后一闪而过的问题
Jun 24 Python
与Django结合利用模型对上传图片预测的实例详解
Aug 07 Python
python 计算积分图和haar特征的实例代码
Nov 20 Python
Python django框架开发发布会签到系统(web开发)
Feb 12 Python
python GUI库图形界面开发之PyQt5信号与槽基本操作
Feb 25 Python
关于Python字符串显示u...的解决方式
Mar 06 Python
七个Python必备的GUI库
Python实战之用tkinter库做一个鼠标模拟点击器
Python基础之pandas数据合并
上手简单,功能强大的Python爬虫框架——feapder
python绘制箱型图
基于Python实现的购物商城管理系统
Apr 27 #Python
详解用Python把PDF转为Word方法总结
You might like
基于php验证码函数的使用示例
2013/05/03 PHP
php计算两个日期时间差(返回年、月、日)
2014/06/19 PHP
PHP 验证登陆类分享
2015/03/13 PHP
Yii扩展组件编写方法实例分析
2015/06/29 PHP
JQuery中each()的使用方法说明
2010/08/19 Javascript
cument.execCommand()用法深入理解
2012/12/04 Javascript
textarea焦点的用法实现获取焦点清空失去焦点提示效果
2014/05/19 Javascript
javascript操作符"!~"详解
2015/02/10 Javascript
Vuejs入门教程之Vue生命周期,数据,手动挂载,指令,过滤器
2017/04/19 Javascript
通过js动态创建标签,并设置属性方法
2018/02/24 Javascript
详解ES6 export default 和 import语句中的解构赋值
2019/05/28 Javascript
JavaScript常用工具函数汇总(浏览器环境)
2020/09/17 Javascript
关于Vue中$refs的探索浅析
2020/11/05 Javascript
小程序实现tab标签页
2020/11/16 Javascript
vue自定义组件实现双向绑定
2021/01/13 Vue.js
JS实现纸牌发牌动画
2021/01/19 Javascript
[19:26]TNC vs EG (BO3)
2018/06/07 DOTA
基于Django filter中用contains和icontains的区别(详解)
2017/12/12 Python
详解Django中间件的5种自定义方法
2018/07/26 Python
python进行TCP端口扫描的实现
2018/12/21 Python
Python多线程原理与用法实例剖析
2019/01/22 Python
Python实现的登录验证系统完整案例【基于搭建的MVC框架】
2019/04/12 Python
Pandas实现dataframe和np.array的相互转换
2019/11/30 Python
Python如何使用正则表达式爬取京东商品信息
2020/06/01 Python
python如何控制进程或者线程的个数
2020/10/16 Python
Python为何不支持switch语句原理详解
2020/10/21 Python
CSS3实现线性渐变用法示例代码详解
2020/08/07 HTML / CSS
关于webview适配H5上传照片或者视频文件的方法
2020/11/04 HTML / CSS
Etam德国:内衣精品店
2019/08/25 全球购物
介绍一下Java中的Class类
2015/04/10 面试题
StringBuilder和String的区别
2015/05/18 面试题
大学生旷课检讨书
2014/01/22 职场文书
工作室成员个人发展规划范文
2014/01/24 职场文书
网站出售协议书范文
2014/10/10 职场文书
html5中sharedWorker实现多页面通信的示例代码
2021/05/07 Javascript
MySQL千万级数据表的优化实战记录
2021/08/04 MySQL