Python爬虫之自动爬取某车之家各车销售数据


Posted in Python onJune 02, 2021

一、目标网页分析

目标网站是某车之家关于品牌汽车车型的口碑模块相关数据,比如我们演示的案例奥迪Q5L的口碑页面如下:

https://k.autohome.com.cn/4851/#pvareaid=3311678

为了演示方式,大家可以直接打开上面这个网址,然后拖到全部口碑位置,找到我们本次采集需要的字段如下图所示:

Python爬虫之自动爬取某车之家各车销售数据

采集字段

我们进行翻页发现,浏览器网址发生了变化,大家可以对下如下几页的网址找出规律:

https://k.autohome.com.cn/4851/index_2.html#dataList
https://k.autohome.com.cn/4851/index_3.html#dataList
https://k.autohome.com.cn/4851/index_4.html#dataList

对于上面写网址,我们发现可变部分是车型(如4851)以及页码(如2,3,4),于是我们可以构建url参数如下:

# typeid是车型,page是页码
url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'

二、数据请求

通过简单的测试,发现似乎不存在反爬,那就简单了。

我们先引入需要用到的库:

import requests
import pandas as pd
import html
from lxml import etree
import re

然后创建一个数据请求的函数备用:

# 获取网页数据(传递参数 车型typeid和页码数)
def get_html(typeid,page):
    # 组合出请求地址
    url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'
    # 请求数据(因为没有反爬,这里没有设置请求头和其他参数)
    r = requests.get(url)
    # 请求的网页数据中有网页特殊字符,通过以下方法进行解析
    r = html.unescape(r.text)
    # 返回网页数据
    return r

请求来的数据就是网页html文本,我们接下来采用re解析出一共多少页码,再用xpath进行采集字段的解析。

三、数据解析

由于需要进行翻页,这里我们可以先通过re正则表达式获取总页码。通过查看网页数据,我们发现总页码可以通过如下方式获取:

try:
    pages = int(re.findall(r'共(\d+)页',r)[0])
# 如果请求不到页数,则表示该车型下没有口碑数据
except :
    print(f'{name} 没有数据!')
    continue

Python爬虫之自动爬取某车之家各车销售数据

总页码采集

关于待采集字段信息,我们发现都在节点div[@class="mouthcon-cont-left"]里,可以先定位这个节点数据,然后再进行逐一解析。

Python爬虫之自动爬取某车之家各车销售数据

待采集字段信息所在节点

此外,我们发现每一页最多15个车型口碑数据,因此我们每页可以定位15个待采集信息数据集,遍历采集代码:

divs = r_html.xpath('.//div[@class="mouthcon-cont-left"]')
# 遍历每个全部的车辆销售信息
for div in divs:
    # 找到车辆销售信息所在的地方
    mt = div.xpath('./div[@class="choose-con mt-10"]')[0]
    # 找到所需字段
    infos = mt.xpath('./dl[@class="choose-dl"]')
    # 设置空的字典,用于存储单个车辆信息
    item = {}
    # 遍历车辆信息字段
    for info in infos:
        key = info.xpath('.//dt/text()')[0]
        # 当字段为购买车型时,进行拆分为车型和配置
        if key == '购买车型':
            item[key] = info.xpath('.//dd/a/text()')[0]
            item['购买配置'] = info.xpath('.//span[@class="font-arial"]/text()')[0]
        # 当字段为购车经销商时,需要获取经销商的id参数,再调用api获取其真实经销商信息(这里有坑)
        elif key == '购车经销商':
            # 经销商id参数
            经销商id = info.xpath('.//dd/a/@data-val')[0] +','+ info.xpath('.//dd/a/@data-evalid')[0]
            # 组合经销商信息请求地址
            jxs_url = base_jxs_url+经销商id+'|'
            # 请求数据(为json格式)
            data = requests.get(jxs_url)
            j = data.json()
            # 获取经销商名称
            item[key] = j['result']['List'][0]['CompanySimple']
        else:
            # 其他字段时,替换转义字符和空格等为空
            item[key] = info.xpath('.//dd/text()')[0].replace("\r\n","").replace(' ','').replace('\xa0','')

四、数据存储

由于没啥反爬,这里直接将采集到的数据转化为pandas.DataFrame类型,然后存储为xlsx文件即可。

df = pd.DataFrame(items)
df = df[['购买车型', '购买配置', '购买地点', '购车经销商', '购买时间', '裸车购买价']]
# 数据存储在本地
df.to_excel(r'车辆销售信息.xlsx',index=None,sheet_name='data')

五、采集结果预览

整个爬虫过程比较简单,采集下来的数据也比较规范,以本文案例奥迪Q5L示例如下:

Python爬虫之自动爬取某车之家各车销售数据

到此这篇关于Python爬虫之自动采集某车之家各车销售数据的文章就介绍到这了,更多相关Python采集汽车销售数据内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python实现windows下模拟按键和鼠标点击的方法
Mar 13 Python
Python中利用sqrt()方法进行平方根计算的教程
May 15 Python
Python中的数学运算操作符使用进阶
Jun 20 Python
用Python将IP地址在整型和字符串之间轻松转换
Mar 22 Python
解决Python一行输出不显示的问题
Dec 03 Python
详解python中的线程与线程池
May 10 Python
python tkinter组件摆放方式详解
Sep 16 Python
Opencv python 图片生成视频的方法示例
Nov 18 Python
详解Scrapy Redis入门实战
Nov 18 Python
使用tkinter实现三子棋游戏
Feb 25 Python
Autopep8的使用(python自动编排工具)
Mar 02 Python
利用python实时刷新基金估值(摸鱼小工具)
Sep 15 Python
从np.random.normal()到正态分布的拟合操作
golang特有程序结构入门教程
Jun 02 #Python
Python中的np.argmin()和np.argmax()函数用法
Jun 02 #Python
python之np.argmax()及对axis=0或者1的理解
Python import模块的缓存问题解决方案
Jun 02 #Python
Python3 类型标注支持操作
Jun 02 #Python
python 实现两个变量值进行交换的n种操作
You might like
Php-Redis安装测试笔记
2015/03/05 PHP
php使用正则表达式去掉html中的注释方法
2016/11/03 PHP
laravel 解决Validator使用中出现的问题
2019/10/25 PHP
JS 页面内容搜索,类似于 Ctrl+F功能的实现代码
2007/08/13 Javascript
javascript在myeclipse中报错的解决方法
2013/10/29 Javascript
JavaScript中变量声明有var和没var的区别示例介绍
2014/09/15 Javascript
JavaScript控制网页平滑滚动到指定元素位置的方法
2015/04/17 Javascript
总结JavaScript设计模式编程中的享元模式使用
2016/05/21 Javascript
浅谈Node.js:fs文件系统模块
2016/12/08 Javascript
基于js实现二级下拉联动
2016/12/17 Javascript
jQuery实现的表格前端排序功能示例
2017/09/18 jQuery
Angular实现的进度条功能示例
2018/02/18 Javascript
初探Vue3.0 中的一大亮点Proxy的使用
2018/12/06 Javascript
js canvas实现橡皮擦效果
2018/12/20 Javascript
在Vue项目中引入JQuery-ui插件的讲解
2019/01/27 jQuery
Node.js + express实现上传大文件的方法分析【图片、文本文件】
2019/03/14 Javascript
js实现图片无缝循环轮播
2019/10/28 Javascript
如何配置vue.config.js 处理static文件夹下的静态文件
2020/06/19 Javascript
Python中的CURL PycURL使用例子
2014/06/01 Python
python私有属性和方法实例分析
2015/01/15 Python
Python正规则表达式学习指南
2016/08/02 Python
Python通过Django实现用户注册和邮箱验证功能代码
2017/12/11 Python
Python多进程并发与多线程并发编程实例总结
2018/02/08 Python
Tensorflow 训练自己的数据集将数据直接导入到内存
2018/06/19 Python
Python匿名函数/排序函数/过滤函数/映射函数/递归/二分法
2019/06/05 Python
python实现截取屏幕保存文件,删除N天前截图的例子
2019/08/27 Python
Python目录和文件处理总结详解
2019/09/02 Python
pyinstaller打包单文件时--uac-admin选项不起作用怎么办
2020/04/15 Python
python 读取.nii格式图像实例
2020/07/01 Python
涂鸦板简单实现 Html5编写属于自己的画画板
2016/07/05 HTML / CSS
学习雷锋做美德少年寄语大全
2014/04/09 职场文书
献爱心活动总结
2014/05/07 职场文书
企业安全生产承诺书
2014/05/22 职场文书
机关党建工作汇报材料
2014/08/20 职场文书
大学生奶茶店创业计划书
2019/06/25 职场文书
浅谈Java父子类加载顺序
2021/08/04 Java/Android