Python爬虫之自动爬取某车之家各车销售数据


Posted in Python onJune 02, 2021

一、目标网页分析

目标网站是某车之家关于品牌汽车车型的口碑模块相关数据,比如我们演示的案例奥迪Q5L的口碑页面如下:

https://k.autohome.com.cn/4851/#pvareaid=3311678

为了演示方式,大家可以直接打开上面这个网址,然后拖到全部口碑位置,找到我们本次采集需要的字段如下图所示:

Python爬虫之自动爬取某车之家各车销售数据

采集字段

我们进行翻页发现,浏览器网址发生了变化,大家可以对下如下几页的网址找出规律:

https://k.autohome.com.cn/4851/index_2.html#dataList
https://k.autohome.com.cn/4851/index_3.html#dataList
https://k.autohome.com.cn/4851/index_4.html#dataList

对于上面写网址,我们发现可变部分是车型(如4851)以及页码(如2,3,4),于是我们可以构建url参数如下:

# typeid是车型,page是页码
url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'

二、数据请求

通过简单的测试,发现似乎不存在反爬,那就简单了。

我们先引入需要用到的库:

import requests
import pandas as pd
import html
from lxml import etree
import re

然后创建一个数据请求的函数备用:

# 获取网页数据(传递参数 车型typeid和页码数)
def get_html(typeid,page):
    # 组合出请求地址
    url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'
    # 请求数据(因为没有反爬,这里没有设置请求头和其他参数)
    r = requests.get(url)
    # 请求的网页数据中有网页特殊字符,通过以下方法进行解析
    r = html.unescape(r.text)
    # 返回网页数据
    return r

请求来的数据就是网页html文本,我们接下来采用re解析出一共多少页码,再用xpath进行采集字段的解析。

三、数据解析

由于需要进行翻页,这里我们可以先通过re正则表达式获取总页码。通过查看网页数据,我们发现总页码可以通过如下方式获取:

try:
    pages = int(re.findall(r'共(\d+)页',r)[0])
# 如果请求不到页数,则表示该车型下没有口碑数据
except :
    print(f'{name} 没有数据!')
    continue

Python爬虫之自动爬取某车之家各车销售数据

总页码采集

关于待采集字段信息,我们发现都在节点div[@class="mouthcon-cont-left"]里,可以先定位这个节点数据,然后再进行逐一解析。

Python爬虫之自动爬取某车之家各车销售数据

待采集字段信息所在节点

此外,我们发现每一页最多15个车型口碑数据,因此我们每页可以定位15个待采集信息数据集,遍历采集代码:

divs = r_html.xpath('.//div[@class="mouthcon-cont-left"]')
# 遍历每个全部的车辆销售信息
for div in divs:
    # 找到车辆销售信息所在的地方
    mt = div.xpath('./div[@class="choose-con mt-10"]')[0]
    # 找到所需字段
    infos = mt.xpath('./dl[@class="choose-dl"]')
    # 设置空的字典,用于存储单个车辆信息
    item = {}
    # 遍历车辆信息字段
    for info in infos:
        key = info.xpath('.//dt/text()')[0]
        # 当字段为购买车型时,进行拆分为车型和配置
        if key == '购买车型':
            item[key] = info.xpath('.//dd/a/text()')[0]
            item['购买配置'] = info.xpath('.//span[@class="font-arial"]/text()')[0]
        # 当字段为购车经销商时,需要获取经销商的id参数,再调用api获取其真实经销商信息(这里有坑)
        elif key == '购车经销商':
            # 经销商id参数
            经销商id = info.xpath('.//dd/a/@data-val')[0] +','+ info.xpath('.//dd/a/@data-evalid')[0]
            # 组合经销商信息请求地址
            jxs_url = base_jxs_url+经销商id+'|'
            # 请求数据(为json格式)
            data = requests.get(jxs_url)
            j = data.json()
            # 获取经销商名称
            item[key] = j['result']['List'][0]['CompanySimple']
        else:
            # 其他字段时,替换转义字符和空格等为空
            item[key] = info.xpath('.//dd/text()')[0].replace("\r\n","").replace(' ','').replace('\xa0','')

四、数据存储

由于没啥反爬,这里直接将采集到的数据转化为pandas.DataFrame类型,然后存储为xlsx文件即可。

df = pd.DataFrame(items)
df = df[['购买车型', '购买配置', '购买地点', '购车经销商', '购买时间', '裸车购买价']]
# 数据存储在本地
df.to_excel(r'车辆销售信息.xlsx',index=None,sheet_name='data')

五、采集结果预览

整个爬虫过程比较简单,采集下来的数据也比较规范,以本文案例奥迪Q5L示例如下:

Python爬虫之自动爬取某车之家各车销售数据

到此这篇关于Python爬虫之自动采集某车之家各车销售数据的文章就介绍到这了,更多相关Python采集汽车销售数据内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中字典和JSON互转操作实例
Jan 19 Python
在Django中创建动态视图的教程
Jul 15 Python
python文件与目录操作实例详解
Feb 22 Python
python获取服务器响应cookie的实例
Dec 28 Python
python使用tkinter库实现五子棋游戏
Jun 18 Python
Python使用Slider组件实现调整曲线参数功能示例
Sep 06 Python
python如何通过twisted搭建socket服务
Feb 03 Python
Scrapy框架基本命令与settings.py设置
Feb 06 Python
Django中ORM找出内容不为空的数据实例
May 20 Python
Python检测端口IP字符串是否合法
Jun 05 Python
Python 文本滚动播放器的实现代码
Apr 25 Python
Python实现生成bmp图像的方法
Jun 13 Python
从np.random.normal()到正态分布的拟合操作
golang特有程序结构入门教程
Jun 02 #Python
Python中的np.argmin()和np.argmax()函数用法
Jun 02 #Python
python之np.argmax()及对axis=0或者1的理解
Python import模块的缓存问题解决方案
Jun 02 #Python
Python3 类型标注支持操作
Jun 02 #Python
python 实现两个变量值进行交换的n种操作
You might like
Array of country list in PHP with Zend Framework
2011/10/17 PHP
php中动态变量用法实例
2015/06/10 PHP
PHP中16个高危函数整理
2019/09/19 PHP
javascript 年月日联动实现核心代码
2009/12/21 Javascript
js/jquery获取浏览器窗口可视区域高度和宽度以及滚动条高度实现代码
2012/12/17 Javascript
两个listbox实现选项的添加删除和搜索
2013/03/01 Javascript
JavaScript中的pow()方法使用详解
2015/06/15 Javascript
高性能JavaScript 重排与重绘(2)
2015/08/11 Javascript
JavaScript常用标签和方法总结
2015/09/01 Javascript
jquery实现点击弹出带标题栏的弹出层(从右上角飞入)效果
2015/09/19 Javascript
jQuery实现图像旋转动画效果
2016/05/29 Javascript
JS运动特效之链式运动分析
2018/01/24 Javascript
微信小程序仿微信运动步数排行(交互)
2018/07/13 Javascript
详解JavaScript 作用域
2020/07/14 Javascript
Javascript节流函数throttle和防抖函数debounce
2020/12/03 Javascript
[04:44]DOTA2 2017全国高校联赛视频回顾
2017/08/21 DOTA
在Python的gevent框架下执行异步的Solr查询的教程
2015/04/16 Python
Python正则表达式经典入门教程
2017/05/22 Python
matplotlib绘图实例演示标记路径
2018/01/23 Python
Python 编程速成(推荐)
2019/04/15 Python
python中时间模块的基本使用教程
2019/05/14 Python
Python插入Elasticsearch操作方法解析
2020/01/19 Python
python GUI库图形界面开发之PyQt5浏览器控件QWebEngineView详细使用方法
2020/02/26 Python
Python通过4种方式实现进程数据通信
2020/03/12 Python
在pycharm中创建django项目的示例代码
2020/05/28 Python
Python自动化操作实现图例绘制
2020/07/09 Python
python matplotlib库的基本使用
2020/09/23 Python
定制别致的瑜伽垫:Sugarmat
2019/06/21 全球购物
会计系毕业个人自荐信格式
2013/09/23 职场文书
大学自我鉴定范文
2013/12/26 职场文书
公司运动会策划方案
2014/05/25 职场文书
小学班主任自我评价
2015/03/11 职场文书
2015民办小学年度工作总结
2015/05/26 职场文书
2016国培学习心得体会
2016/01/08 职场文书
初中历史教学反思
2016/02/19 职场文书
JS中forEach()、map()、every()、some()和filter()的用法
2022/05/11 Javascript