Python爬虫之自动爬取某车之家各车销售数据


Posted in Python onJune 02, 2021

一、目标网页分析

目标网站是某车之家关于品牌汽车车型的口碑模块相关数据,比如我们演示的案例奥迪Q5L的口碑页面如下:

https://k.autohome.com.cn/4851/#pvareaid=3311678

为了演示方式,大家可以直接打开上面这个网址,然后拖到全部口碑位置,找到我们本次采集需要的字段如下图所示:

Python爬虫之自动爬取某车之家各车销售数据

采集字段

我们进行翻页发现,浏览器网址发生了变化,大家可以对下如下几页的网址找出规律:

https://k.autohome.com.cn/4851/index_2.html#dataList
https://k.autohome.com.cn/4851/index_3.html#dataList
https://k.autohome.com.cn/4851/index_4.html#dataList

对于上面写网址,我们发现可变部分是车型(如4851)以及页码(如2,3,4),于是我们可以构建url参数如下:

# typeid是车型,page是页码
url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'

二、数据请求

通过简单的测试,发现似乎不存在反爬,那就简单了。

我们先引入需要用到的库:

import requests
import pandas as pd
import html
from lxml import etree
import re

然后创建一个数据请求的函数备用:

# 获取网页数据(传递参数 车型typeid和页码数)
def get_html(typeid,page):
    # 组合出请求地址
    url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'
    # 请求数据(因为没有反爬,这里没有设置请求头和其他参数)
    r = requests.get(url)
    # 请求的网页数据中有网页特殊字符,通过以下方法进行解析
    r = html.unescape(r.text)
    # 返回网页数据
    return r

请求来的数据就是网页html文本,我们接下来采用re解析出一共多少页码,再用xpath进行采集字段的解析。

三、数据解析

由于需要进行翻页,这里我们可以先通过re正则表达式获取总页码。通过查看网页数据,我们发现总页码可以通过如下方式获取:

try:
    pages = int(re.findall(r'共(\d+)页',r)[0])
# 如果请求不到页数,则表示该车型下没有口碑数据
except :
    print(f'{name} 没有数据!')
    continue

Python爬虫之自动爬取某车之家各车销售数据

总页码采集

关于待采集字段信息,我们发现都在节点div[@class="mouthcon-cont-left"]里,可以先定位这个节点数据,然后再进行逐一解析。

Python爬虫之自动爬取某车之家各车销售数据

待采集字段信息所在节点

此外,我们发现每一页最多15个车型口碑数据,因此我们每页可以定位15个待采集信息数据集,遍历采集代码:

divs = r_html.xpath('.//div[@class="mouthcon-cont-left"]')
# 遍历每个全部的车辆销售信息
for div in divs:
    # 找到车辆销售信息所在的地方
    mt = div.xpath('./div[@class="choose-con mt-10"]')[0]
    # 找到所需字段
    infos = mt.xpath('./dl[@class="choose-dl"]')
    # 设置空的字典,用于存储单个车辆信息
    item = {}
    # 遍历车辆信息字段
    for info in infos:
        key = info.xpath('.//dt/text()')[0]
        # 当字段为购买车型时,进行拆分为车型和配置
        if key == '购买车型':
            item[key] = info.xpath('.//dd/a/text()')[0]
            item['购买配置'] = info.xpath('.//span[@class="font-arial"]/text()')[0]
        # 当字段为购车经销商时,需要获取经销商的id参数,再调用api获取其真实经销商信息(这里有坑)
        elif key == '购车经销商':
            # 经销商id参数
            经销商id = info.xpath('.//dd/a/@data-val')[0] +','+ info.xpath('.//dd/a/@data-evalid')[0]
            # 组合经销商信息请求地址
            jxs_url = base_jxs_url+经销商id+'|'
            # 请求数据(为json格式)
            data = requests.get(jxs_url)
            j = data.json()
            # 获取经销商名称
            item[key] = j['result']['List'][0]['CompanySimple']
        else:
            # 其他字段时,替换转义字符和空格等为空
            item[key] = info.xpath('.//dd/text()')[0].replace("\r\n","").replace(' ','').replace('\xa0','')

四、数据存储

由于没啥反爬,这里直接将采集到的数据转化为pandas.DataFrame类型,然后存储为xlsx文件即可。

df = pd.DataFrame(items)
df = df[['购买车型', '购买配置', '购买地点', '购车经销商', '购买时间', '裸车购买价']]
# 数据存储在本地
df.to_excel(r'车辆销售信息.xlsx',index=None,sheet_name='data')

五、采集结果预览

整个爬虫过程比较简单,采集下来的数据也比较规范,以本文案例奥迪Q5L示例如下:

Python爬虫之自动爬取某车之家各车销售数据

到此这篇关于Python爬虫之自动采集某车之家各车销售数据的文章就介绍到这了,更多相关Python采集汽车销售数据内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python 多线程应用介绍
Dec 19 Python
使用python分析git log日志示例
Feb 27 Python
python异步任务队列示例
Apr 01 Python
Django中利用filter与simple_tag为前端自定义函数的实现方法
Jun 15 Python
Python装饰器用法示例小结
Feb 11 Python
python针对excel的操作技巧
Mar 13 Python
python使用pipeline批量读写redis的方法
Feb 18 Python
python实现五子棋小程序
Jun 18 Python
python爬虫之快速对js内容进行破解
Jul 09 Python
Django缓存系统实现过程解析
Aug 02 Python
详解Python中namedtuple的使用
Apr 27 Python
Python爬虫工具requests-html使用解析
Apr 29 Python
从np.random.normal()到正态分布的拟合操作
golang特有程序结构入门教程
Jun 02 #Python
Python中的np.argmin()和np.argmax()函数用法
Jun 02 #Python
python之np.argmax()及对axis=0或者1的理解
Python import模块的缓存问题解决方案
Jun 02 #Python
Python3 类型标注支持操作
Jun 02 #Python
python 实现两个变量值进行交换的n种操作
You might like
php利用imagemagick实现复古老照片效果实例
2017/02/16 PHP
对YUI扩展的Gird组件 Part-2
2007/03/10 Javascript
基于jquery的大众点评,分类导航实现代码
2011/08/23 Javascript
Jquery实现自定义tooltip示例代码
2014/02/12 Javascript
js 加密压缩出现bug解决方案
2014/11/25 Javascript
javascript十六进制及二进制转化的方法
2015/05/06 Javascript
js实现二级菜单渐隐显示
2015/11/03 Javascript
跟我学习javascript的作用域与作用域链
2015/11/19 Javascript
jQuery Validate让普通按钮触发表单验证的方法
2016/12/15 Javascript
jQuery实现立体式数字滚动条增加效果
2016/12/21 Javascript
浅谈js中startsWith 函数不能在任何浏览器兼容的问题
2017/03/01 Javascript
解决bootstrap中使用modal加载kindeditor时弹出层文本框不能输入的问题
2017/06/05 Javascript
微信小程序之数据缓存的实例详解
2017/09/29 Javascript
详解如何使用webpack打包JS
2018/06/21 Javascript
Vue批量图片显示时遇到的路径被解析问题
2019/03/28 Javascript
arctext.js实现文字平滑弯曲弧形效果的插件
2019/05/13 Javascript
element-ui如何防止重复提交的方法步骤
2019/12/09 Javascript
JS通用方法触发点击事件代码实例
2020/02/17 Javascript
小程序实现密码输入框
2020/11/16 Javascript
JavaScript实现打字游戏
2021/02/19 Javascript
详解duck typing鸭子类型程序设计与Python的实现示例
2016/06/03 Python
python 对txt中每行内容进行批量替换的方法
2018/07/11 Python
Python2 Selenium元素定位的实现(8种)
2019/02/25 Python
python 利用已有Ner模型进行数据清洗合并代码
2019/12/24 Python
H5 canvas中width、height和style的宽高区别详解
2018/11/02 HTML / CSS
香港个人化生活购物网站:Ballyhoo Limited
2016/09/10 全球购物
Tod’s英国官方网站:意大利奢华手工制作手袋和鞋履
2019/03/15 全球购物
2014年三八妇女节活动总结
2014/03/01 职场文书
信用卡工资证明格式
2014/09/13 职场文书
干部四风问题整改措施思想汇报
2014/10/13 职场文书
民间借贷被告代理词
2015/05/23 职场文书
矛盾论读书笔记
2015/06/29 职场文书
初中语文教学随笔
2015/08/15 职场文书
优秀家长事迹材料(2016推荐版)
2016/02/29 职场文书
通过Qt连接OpenGauss数据库的详细教程
2021/06/23 PostgreSQL
Python tensorflow卷积神经Inception V3网络结构
2022/05/06 Python