Python爬虫之自动爬取某车之家各车销售数据


Posted in Python onJune 02, 2021

一、目标网页分析

目标网站是某车之家关于品牌汽车车型的口碑模块相关数据,比如我们演示的案例奥迪Q5L的口碑页面如下:

https://k.autohome.com.cn/4851/#pvareaid=3311678

为了演示方式,大家可以直接打开上面这个网址,然后拖到全部口碑位置,找到我们本次采集需要的字段如下图所示:

Python爬虫之自动爬取某车之家各车销售数据

采集字段

我们进行翻页发现,浏览器网址发生了变化,大家可以对下如下几页的网址找出规律:

https://k.autohome.com.cn/4851/index_2.html#dataList
https://k.autohome.com.cn/4851/index_3.html#dataList
https://k.autohome.com.cn/4851/index_4.html#dataList

对于上面写网址,我们发现可变部分是车型(如4851)以及页码(如2,3,4),于是我们可以构建url参数如下:

# typeid是车型,page是页码
url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'

二、数据请求

通过简单的测试,发现似乎不存在反爬,那就简单了。

我们先引入需要用到的库:

import requests
import pandas as pd
import html
from lxml import etree
import re

然后创建一个数据请求的函数备用:

# 获取网页数据(传递参数 车型typeid和页码数)
def get_html(typeid,page):
    # 组合出请求地址
    url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'
    # 请求数据(因为没有反爬,这里没有设置请求头和其他参数)
    r = requests.get(url)
    # 请求的网页数据中有网页特殊字符,通过以下方法进行解析
    r = html.unescape(r.text)
    # 返回网页数据
    return r

请求来的数据就是网页html文本,我们接下来采用re解析出一共多少页码,再用xpath进行采集字段的解析。

三、数据解析

由于需要进行翻页,这里我们可以先通过re正则表达式获取总页码。通过查看网页数据,我们发现总页码可以通过如下方式获取:

try:
    pages = int(re.findall(r'共(\d+)页',r)[0])
# 如果请求不到页数,则表示该车型下没有口碑数据
except :
    print(f'{name} 没有数据!')
    continue

Python爬虫之自动爬取某车之家各车销售数据

总页码采集

关于待采集字段信息,我们发现都在节点div[@class="mouthcon-cont-left"]里,可以先定位这个节点数据,然后再进行逐一解析。

Python爬虫之自动爬取某车之家各车销售数据

待采集字段信息所在节点

此外,我们发现每一页最多15个车型口碑数据,因此我们每页可以定位15个待采集信息数据集,遍历采集代码:

divs = r_html.xpath('.//div[@class="mouthcon-cont-left"]')
# 遍历每个全部的车辆销售信息
for div in divs:
    # 找到车辆销售信息所在的地方
    mt = div.xpath('./div[@class="choose-con mt-10"]')[0]
    # 找到所需字段
    infos = mt.xpath('./dl[@class="choose-dl"]')
    # 设置空的字典,用于存储单个车辆信息
    item = {}
    # 遍历车辆信息字段
    for info in infos:
        key = info.xpath('.//dt/text()')[0]
        # 当字段为购买车型时,进行拆分为车型和配置
        if key == '购买车型':
            item[key] = info.xpath('.//dd/a/text()')[0]
            item['购买配置'] = info.xpath('.//span[@class="font-arial"]/text()')[0]
        # 当字段为购车经销商时,需要获取经销商的id参数,再调用api获取其真实经销商信息(这里有坑)
        elif key == '购车经销商':
            # 经销商id参数
            经销商id = info.xpath('.//dd/a/@data-val')[0] +','+ info.xpath('.//dd/a/@data-evalid')[0]
            # 组合经销商信息请求地址
            jxs_url = base_jxs_url+经销商id+'|'
            # 请求数据(为json格式)
            data = requests.get(jxs_url)
            j = data.json()
            # 获取经销商名称
            item[key] = j['result']['List'][0]['CompanySimple']
        else:
            # 其他字段时,替换转义字符和空格等为空
            item[key] = info.xpath('.//dd/text()')[0].replace("\r\n","").replace(' ','').replace('\xa0','')

四、数据存储

由于没啥反爬,这里直接将采集到的数据转化为pandas.DataFrame类型,然后存储为xlsx文件即可。

df = pd.DataFrame(items)
df = df[['购买车型', '购买配置', '购买地点', '购车经销商', '购买时间', '裸车购买价']]
# 数据存储在本地
df.to_excel(r'车辆销售信息.xlsx',index=None,sheet_name='data')

五、采集结果预览

整个爬虫过程比较简单,采集下来的数据也比较规范,以本文案例奥迪Q5L示例如下:

Python爬虫之自动爬取某车之家各车销售数据

到此这篇关于Python爬虫之自动采集某车之家各车销售数据的文章就介绍到这了,更多相关Python采集汽车销售数据内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python把csv数据写入list和字典类型的变量脚本方法
Jun 15 Python
深入理解python中sort()与sorted()的区别
Aug 29 Python
老生常谈python中的重载
Nov 11 Python
pytorch 加载(.pth)格式的模型实例
Aug 20 Python
用sqlalchemy构建Django连接池的实例
Aug 29 Python
pyqt5 QScrollArea设置在自定义侧(任何位置)
Sep 25 Python
Python的几种主动结束程序方式
Nov 22 Python
pytorch:torch.mm()和torch.matmul()的使用
Dec 27 Python
Python递归及尾递归优化操作实例分析
Feb 01 Python
详解PyQt5信号与槽的几种高级玩法
Mar 24 Python
Python控制鼠标键盘代码实例
Dec 08 Python
Django数据库(SQlite)基本入门使用教程
Jul 07 Python
从np.random.normal()到正态分布的拟合操作
golang特有程序结构入门教程
Jun 02 #Python
Python中的np.argmin()和np.argmax()函数用法
Jun 02 #Python
python之np.argmax()及对axis=0或者1的理解
Python import模块的缓存问题解决方案
Jun 02 #Python
Python3 类型标注支持操作
Jun 02 #Python
python 实现两个变量值进行交换的n种操作
You might like
php定时执行任务设置详解
2015/02/06 PHP
PHP实现获取中英文首字母
2015/06/19 PHP
WordPress中用于创建以及获取侧边栏的PHP函数讲解
2015/12/29 PHP
使用WAMP搭建PHP本地开发环境
2017/05/10 PHP
thinkphp5.0自定义验证规则使用方法
2017/11/16 PHP
PHP中“=>
2019/03/01 PHP
Web前端设计模式  制作漂亮的弹出层
2010/10/29 Javascript
jquery zTree异步加载简单实例分享
2013/02/05 Javascript
cookie的secure属性详解
2015/04/08 Javascript
jQuery实现监控页面所有ajax请求的方法
2015/12/10 Javascript
jquery插件uploadify多图上传功能实现代码
2016/08/12 Javascript
JS实现重新加载当前页面
2016/11/29 Javascript
微信小程序实现图片轮播及文件上传
2017/04/07 Javascript
Vue实现路由跳转和嵌套
2017/06/20 Javascript
jQuery实现QQ空间汉字转拼音功能示例
2017/07/10 jQuery
Angular2+如何去除url中的#号详解
2017/12/20 Javascript
TensorFlow实现iris数据集线性回归
2018/09/07 Python
Python中@property的理解和使用示例
2019/06/11 Python
Python二进制文件读取并转换为浮点数详解
2019/06/25 Python
使用Python给头像戴上圣诞帽的图像操作过程解析
2019/09/20 Python
python 利用turtle库绘制笑脸和哭脸的例子
2019/11/23 Python
numpy 声明空数组详解
2019/12/05 Python
Matplotlib scatter绘制散点图的方法实现
2020/01/02 Python
python数据预处理 :数据共线性处理详解
2020/02/24 Python
基于python实现模拟数据结构模型
2020/06/12 Python
CSS的pointer-events属性详细介绍(作用和注意事项)
2014/04/23 HTML / CSS
北美大型运动类产品商城:Champs Sports
2017/01/12 全球购物
美国汽配连锁巨头Pep Boys官网:轮胎更换、汽车维修服务和汽车零部件
2017/01/14 全球购物
英国最大的在线床超市:Bed Star
2019/01/24 全球购物
网络技术专业求职信
2014/02/18 职场文书
综治工作心得体会
2014/09/11 职场文书
银行竞聘上岗演讲稿
2014/09/12 职场文书
Pytorch 使用tensor特定条件判断索引
2021/04/08 Python
MySQL系列之二 多实例配置
2021/07/02 MySQL
mysql sum(if())和count(if())的用法说明
2022/01/18 MySQL
「天才王子的赤字国家重生术」妮妮姆·拉雷粘土人开订
2022/03/21 日漫