Python爬虫之自动爬取某车之家各车销售数据


Posted in Python onJune 02, 2021

一、目标网页分析

目标网站是某车之家关于品牌汽车车型的口碑模块相关数据,比如我们演示的案例奥迪Q5L的口碑页面如下:

https://k.autohome.com.cn/4851/#pvareaid=3311678

为了演示方式,大家可以直接打开上面这个网址,然后拖到全部口碑位置,找到我们本次采集需要的字段如下图所示:

Python爬虫之自动爬取某车之家各车销售数据

采集字段

我们进行翻页发现,浏览器网址发生了变化,大家可以对下如下几页的网址找出规律:

https://k.autohome.com.cn/4851/index_2.html#dataList
https://k.autohome.com.cn/4851/index_3.html#dataList
https://k.autohome.com.cn/4851/index_4.html#dataList

对于上面写网址,我们发现可变部分是车型(如4851)以及页码(如2,3,4),于是我们可以构建url参数如下:

# typeid是车型,page是页码
url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'

二、数据请求

通过简单的测试,发现似乎不存在反爬,那就简单了。

我们先引入需要用到的库:

import requests
import pandas as pd
import html
from lxml import etree
import re

然后创建一个数据请求的函数备用:

# 获取网页数据(传递参数 车型typeid和页码数)
def get_html(typeid,page):
    # 组合出请求地址
    url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'
    # 请求数据(因为没有反爬,这里没有设置请求头和其他参数)
    r = requests.get(url)
    # 请求的网页数据中有网页特殊字符,通过以下方法进行解析
    r = html.unescape(r.text)
    # 返回网页数据
    return r

请求来的数据就是网页html文本,我们接下来采用re解析出一共多少页码,再用xpath进行采集字段的解析。

三、数据解析

由于需要进行翻页,这里我们可以先通过re正则表达式获取总页码。通过查看网页数据,我们发现总页码可以通过如下方式获取:

try:
    pages = int(re.findall(r'共(\d+)页',r)[0])
# 如果请求不到页数,则表示该车型下没有口碑数据
except :
    print(f'{name} 没有数据!')
    continue

Python爬虫之自动爬取某车之家各车销售数据

总页码采集

关于待采集字段信息,我们发现都在节点div[@class="mouthcon-cont-left"]里,可以先定位这个节点数据,然后再进行逐一解析。

Python爬虫之自动爬取某车之家各车销售数据

待采集字段信息所在节点

此外,我们发现每一页最多15个车型口碑数据,因此我们每页可以定位15个待采集信息数据集,遍历采集代码:

divs = r_html.xpath('.//div[@class="mouthcon-cont-left"]')
# 遍历每个全部的车辆销售信息
for div in divs:
    # 找到车辆销售信息所在的地方
    mt = div.xpath('./div[@class="choose-con mt-10"]')[0]
    # 找到所需字段
    infos = mt.xpath('./dl[@class="choose-dl"]')
    # 设置空的字典,用于存储单个车辆信息
    item = {}
    # 遍历车辆信息字段
    for info in infos:
        key = info.xpath('.//dt/text()')[0]
        # 当字段为购买车型时,进行拆分为车型和配置
        if key == '购买车型':
            item[key] = info.xpath('.//dd/a/text()')[0]
            item['购买配置'] = info.xpath('.//span[@class="font-arial"]/text()')[0]
        # 当字段为购车经销商时,需要获取经销商的id参数,再调用api获取其真实经销商信息(这里有坑)
        elif key == '购车经销商':
            # 经销商id参数
            经销商id = info.xpath('.//dd/a/@data-val')[0] +','+ info.xpath('.//dd/a/@data-evalid')[0]
            # 组合经销商信息请求地址
            jxs_url = base_jxs_url+经销商id+'|'
            # 请求数据(为json格式)
            data = requests.get(jxs_url)
            j = data.json()
            # 获取经销商名称
            item[key] = j['result']['List'][0]['CompanySimple']
        else:
            # 其他字段时,替换转义字符和空格等为空
            item[key] = info.xpath('.//dd/text()')[0].replace("\r\n","").replace(' ','').replace('\xa0','')

四、数据存储

由于没啥反爬,这里直接将采集到的数据转化为pandas.DataFrame类型,然后存储为xlsx文件即可。

df = pd.DataFrame(items)
df = df[['购买车型', '购买配置', '购买地点', '购车经销商', '购买时间', '裸车购买价']]
# 数据存储在本地
df.to_excel(r'车辆销售信息.xlsx',index=None,sheet_name='data')

五、采集结果预览

整个爬虫过程比较简单,采集下来的数据也比较规范,以本文案例奥迪Q5L示例如下:

Python爬虫之自动爬取某车之家各车销售数据

到此这篇关于Python爬虫之自动采集某车之家各车销售数据的文章就介绍到这了,更多相关Python采集汽车销售数据内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
linux环境下安装pyramid和新建项目的步骤
Nov 27 Python
python检测远程端口是否打开的方法
Mar 14 Python
Python简明入门教程
Aug 04 Python
Python和Perl绘制中国北京跑步地图的方法
Mar 03 Python
使用Python从有道词典网页获取单词翻译
Jul 03 Python
Python协程的用法和例子详解
Sep 09 Python
PyQt5每天必学之组合框
Apr 20 Python
python安装模块如何通过setup.py安装(超简单)
May 05 Python
Python3实现将本地JSON大数据文件写入MySQL数据库的方法
Jun 13 Python
python opencv旋转图像(保持图像不被裁减)
Jul 26 Python
python函数装饰器之带参数的函数和带参数的装饰器用法示例
Nov 06 Python
Pillow图像处理库安装及使用
Apr 12 Python
从np.random.normal()到正态分布的拟合操作
golang特有程序结构入门教程
Jun 02 #Python
Python中的np.argmin()和np.argmax()函数用法
Jun 02 #Python
python之np.argmax()及对axis=0或者1的理解
Python import模块的缓存问题解决方案
Jun 02 #Python
Python3 类型标注支持操作
Jun 02 #Python
python 实现两个变量值进行交换的n种操作
You might like
php下获取http状态的实现代码
2014/05/09 PHP
Codeigniter注册登录代码示例
2014/06/12 PHP
php封装的图片(缩略图)处理类完整实例
2016/10/19 PHP
零基础php编程好学吗
2019/10/11 PHP
对google个性主页的拖拽效果的js的完整注释[转]
2007/04/10 Javascript
微信JS接口汇总及使用详解
2015/01/09 Javascript
浅谈javascript的Array.prototype.slice.call
2015/08/31 Javascript
使用postMesssage()实现iframe跨域页面间的信息传递
2016/03/29 Javascript
javascript实现粘贴qq截图功能(clipboardData)
2016/05/29 Javascript
解决bootstrap导航栏navbar在IE8上存在缺陷的方法
2016/07/01 Javascript
JavaScript中apply方法的应用技巧小结
2016/09/29 Javascript
Vue.js实现简单ToDoList 前期准备(一)
2016/12/01 Javascript
完美实现js选项卡切换效果(二)
2017/03/08 Javascript
nodejs 搭建简易服务器的图文教程(推荐)
2017/07/18 NodeJs
分享Bootstrap简单表格、表单、登录页面
2017/08/04 Javascript
详解React之父子组件传递和其它一些要点
2018/06/25 Javascript
解决vue单页面多个组件嵌套监听浏览器窗口变化问题
2020/07/30 Javascript
JavaScript实现点击图片换背景
2020/11/20 Javascript
在Python中操作字符串之startswith()方法的使用
2015/05/20 Python
Python yield 使用浅析
2015/05/28 Python
使用python对excle和json互相转换的示例
2018/10/23 Python
python 实现一个反向单位矩阵示例
2019/11/29 Python
Python常见反爬虫机制解决方案
2020/06/01 Python
浅谈python量化 双均线策略(金叉死叉)
2020/06/03 Python
Python与C/C++的相互调用案例
2021/03/04 Python
加拿大领先的牛仔零售商:Bluenotes
2018/01/22 全球购物
三星加拿大官方网上商店:Samsung CA
2020/12/18 全球购物
党员活动日总结
2014/05/05 职场文书
中学生运动会新闻稿
2014/09/24 职场文书
群众路线查摆问题及整改措施
2014/10/10 职场文书
课堂打架检讨书200字
2014/11/21 职场文书
2014年商场工作总结
2014/11/22 职场文书
汽车4S店前台接待岗位职责
2015/04/03 职场文书
目标责任书格式范文
2015/05/11 职场文书
浅谈JS的原型和原型链
2021/06/04 Javascript
Python 的 sum() Pythonic 的求和方法详细
2021/10/16 Python