Python爬取YY评级分数并保存数据实现过程解析


Posted in Python onJune 01, 2020

前言

当需要进行大规模查询时(比如目前遇到的情形:查询某个省所有发债企业的YY评级分数),人工查询显然太过费时,那就写个爬虫吧。

由于该爬虫实在过于简单,就只简单概述下。

一、请求端

通过观察YY评级的网页信息,如下图(F12或右击进入检查,点击network—>XHR—>headers)。

红色框表明是个get请求(其实这种网页基本都是Ajax get,需要总结实际url的规律的)。

绿色框即为实际URL,通过分析该URL,其由两部分组成。前半部分为“
https://web.ratingdog.cn/v1/search?”,后半部分为黄色框内内容用“&”符号连接后的结果。黄色框内的内容,只有企业名称为变量,且为已知变量,那URL即可据此确定了。

Python爬取YY评级分数并保存数据实现过程解析

另外需注意,YY评级需要登录才可查询数据,在构建头部信息进行访问时,一定要提前登录,并在头部信息中放入登录信息和登录状态。

二、响应端

通过观察网页的响应信息(F12或右击进入检查,点击network—>XHR—>response),如下图。响应信息及其简单,我们所需要的YY评级分数安详地躺在那里,简单到一个正则表达式就可以提取出该数据。正则如下:

"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"

Python爬取YY评级分数并保存数据实现过程解析

三、代码

所需数据较少,代码相对简单,就不建立函数了,直接一路到底吧。如下:

Python爬取YY评级分数并保存数据实现过程解析

运行代码后,得到结果如下。安徽省的100多条数据,就到了本地了

Python爬取YY评级分数并保存数据实现过程解析

Python爬取YY评级分数并保存数据实现过程解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python比较2个xml内容的方法
May 11 Python
Python随机生成带特殊字符的密码
Mar 02 Python
Python使用Turtle模块绘制五星红旗代码示例
Dec 11 Python
用Python读取几十万行文本数据
Dec 24 Python
在Qt中正确的设置窗体的背景图片的几种方法总结
Jun 19 Python
一篇文章弄懂Python中所有数组数据类型
Jun 23 Python
用python生成与调用cntk模型代码演示方法
Aug 26 Python
解决python中的幂函数、指数函数问题
Nov 25 Python
使用pandas的box_plot去除异常值
Dec 10 Python
Python正则表达式学习小例子
Mar 03 Python
Python打包为exe详细教程
May 18 Python
Python干货实战之八音符酱小游戏全过程详解
Oct 24 Python
基于Python绘制个人足迹地图
Jun 01 #Python
python 写函数在一定条件下需要调用自身时的写法说明
Jun 01 #Python
解决python调用自己文件函数/执行函数找不到包问题
Jun 01 #Python
Python如何在循环内使用list.remove()
Jun 01 #Python
IntelliJ 中配置 Anaconda的过程图解
Jun 01 #Python
解决python中import文件夹下面py文件报错问题
Jun 01 #Python
浅谈Python中文件夹和python package包的区别
Jun 01 #Python
You might like
php下载文件源代码(强制任意文件格式下载)
2014/05/09 PHP
PHP fastcgi模式上传大文件(大约有300多K)报错
2014/09/28 PHP
php使用Jpgraph绘制3D饼状图的方法
2015/06/10 PHP
PHP实现的蚂蚁爬杆路径算法代码
2015/12/03 PHP
Laravel5中防止XSS跨站攻击的方法
2016/10/10 PHP
PHP中number_format()函数的用法讲解
2019/04/08 PHP
jQuery EasyUI API 中文文档 - Calendar日历使用
2011/10/19 Javascript
jquery 实现表单验证功能代码(简洁)
2012/07/03 Javascript
javascript setinterval 的正确语法如何书写
2014/06/17 Javascript
浅谈JavaScript中定义变量时有无var声明的区别
2014/08/18 Javascript
javascript控制台详解
2015/06/25 Javascript
如何用angularjs制作一个完整的表格
2016/01/21 Javascript
微信小程序  modal详解及实例代码
2016/11/09 Javascript
setTimeout学习小结
2017/02/08 Javascript
js实现弹窗猜数字游戏
2020/11/26 Javascript
python模块之StringIO使用示例
2015/04/08 Python
MySQL最常见的操作语句小结
2015/05/07 Python
详细解析Python中__init__()方法的高级应用
2015/05/11 Python
python使用arcpy.mapping模块批量出图
2017/03/06 Python
Python自定义线程池实现方法分析
2018/02/07 Python
python删除不需要的python文件方法
2018/04/24 Python
浅谈python中对于json写入txt文件的编码问题
2018/06/07 Python
Python 实现某个功能每隔一段时间被执行一次的功能方法
2018/10/14 Python
基于Python和PyYAML读取yaml配置文件数据
2020/01/13 Python
Tensorflow实现将标签变为one-hot形式
2020/05/22 Python
Autopep8的使用(python自动编排工具)
2021/03/02 Python
Django项目在pycharm新建的步骤方法
2021/03/02 Python
PHP解析URL是哪个函数?怎么用?
2013/05/09 面试题
实习生体会的自我评价范文
2013/11/28 职场文书
饲料采购员岗位职责
2013/12/19 职场文书
施工材料员岗位职责
2014/02/12 职场文书
保健品市场营销方案
2014/03/31 职场文书
高中学生评语大全
2014/04/25 职场文书
法学专业大学生实习自我鉴定
2014/10/05 职场文书
入党积极分子对十八届四中全会期盼的思想汇报
2014/10/17 职场文书
详解MySQL主从复制及读写分离
2021/05/07 MySQL