Python爬取YY评级分数并保存数据实现过程解析


Posted in Python onJune 01, 2020

前言

当需要进行大规模查询时(比如目前遇到的情形:查询某个省所有发债企业的YY评级分数),人工查询显然太过费时,那就写个爬虫吧。

由于该爬虫实在过于简单,就只简单概述下。

一、请求端

通过观察YY评级的网页信息,如下图(F12或右击进入检查,点击network—>XHR—>headers)。

红色框表明是个get请求(其实这种网页基本都是Ajax get,需要总结实际url的规律的)。

绿色框即为实际URL,通过分析该URL,其由两部分组成。前半部分为“
https://web.ratingdog.cn/v1/search?”,后半部分为黄色框内内容用“&”符号连接后的结果。黄色框内的内容,只有企业名称为变量,且为已知变量,那URL即可据此确定了。

Python爬取YY评级分数并保存数据实现过程解析

另外需注意,YY评级需要登录才可查询数据,在构建头部信息进行访问时,一定要提前登录,并在头部信息中放入登录信息和登录状态。

二、响应端

通过观察网页的响应信息(F12或右击进入检查,点击network—>XHR—>response),如下图。响应信息及其简单,我们所需要的YY评级分数安详地躺在那里,简单到一个正则表达式就可以提取出该数据。正则如下:

"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"

Python爬取YY评级分数并保存数据实现过程解析

三、代码

所需数据较少,代码相对简单,就不建立函数了,直接一路到底吧。如下:

Python爬取YY评级分数并保存数据实现过程解析

运行代码后,得到结果如下。安徽省的100多条数据,就到了本地了

Python爬取YY评级分数并保存数据实现过程解析

Python爬取YY评级分数并保存数据实现过程解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Pyramid Mako模板引入helper对象的步骤方法
Nov 27 Python
黑科技 Python脚本帮你找出微信上删除你好友的人
Jan 07 Python
Python基础篇之初识Python必看攻略
Jun 23 Python
Python正确重载运算符的方法示例详解
Aug 27 Python
Python对列表去重的多种方法(四种方法)
Dec 05 Python
使用Python监控文件内容变化代码实例
Jun 04 Python
opencv调整图像亮度对比度的示例代码
Sep 27 Python
Python 剪绳子的多种思路实现(动态规划和贪心)
Feb 24 Python
python sklearn包——混淆矩阵、分类报告等自动生成方式
Feb 28 Python
OpenCV 表盘指针自动读数的示例代码
Apr 10 Python
详解Pandas 处理缺失值指令大全
Jul 30 Python
用Python提取PDF表格的方法
Apr 11 Python
基于Python绘制个人足迹地图
Jun 01 #Python
python 写函数在一定条件下需要调用自身时的写法说明
Jun 01 #Python
解决python调用自己文件函数/执行函数找不到包问题
Jun 01 #Python
Python如何在循环内使用list.remove()
Jun 01 #Python
IntelliJ 中配置 Anaconda的过程图解
Jun 01 #Python
解决python中import文件夹下面py文件报错问题
Jun 01 #Python
浅谈Python中文件夹和python package包的区别
Jun 01 #Python
You might like
《Re:从零开始的异世界生活 冰结之绊》
2020/04/09 日漫
PHP文本数据库的搜索方法
2006/10/09 PHP
php中获取关键词及所属来源搜索引擎名称的代码
2011/02/15 PHP
php 转换字符串编码 iconv与mb_convert_encoding的区别说明
2011/11/10 PHP
jQuery获取json后使用zy_tmpl生成下拉菜单
2015/03/27 PHP
thinkphp3.2框架中where条件查询用法总结
2019/08/13 PHP
laravel 实现划分admin和home 模块分组
2019/10/15 PHP
thinkphp5使html5实现动态跳转的例子
2019/10/16 PHP
javascript基本语法分析说明
2008/06/15 Javascript
一个可以兼容IE FF的加为首页与加入收藏实现代码
2009/11/02 Javascript
JQuery入门——用one()方法绑定事件处理函数(仅触发一次)
2013/02/05 Javascript
对js关键字命名的疑问介绍
2014/04/25 Javascript
CSS+JS实现点击文字弹出定时自动关闭DIV层菜单的方法
2015/05/12 Javascript
JavaSciprt中处理字符串之sup()方法的使用教程
2015/06/08 Javascript
js文本框走动跑马灯效果代码分享
2015/08/25 Javascript
jQuery+HTML5美女瀑布流布局实现方法
2015/09/21 Javascript
Bootstrap中CSS的使用方法
2016/02/17 Javascript
jQuery获取当前点击的对象元素(实现代码)
2016/05/19 Javascript
Bootstrap基本组件学习笔记之进度条(15)
2016/12/08 Javascript
详解vue2父组件传递props异步数据到子组件的问题
2017/06/29 Javascript
Angularjs实现下拉框联动的示例代码
2017/08/22 Javascript
JS实现留言板功能[楼层效果展示]
2017/12/27 Javascript
Nuxt的路由动画效果案例
2020/11/06 Javascript
django1.8使用表单上传文件的实现方法
2016/11/04 Python
Python编写合并字典并实现敏感目录的小脚本
2019/02/26 Python
html5手机键盘弹出收起的处理
2020/01/20 HTML / CSS
如何用SQL语句进行模糊查找
2015/09/25 面试题
C#实现对任一张表的数据进行增,删,改,查要求,运用Webservice,体现出三层架构
2014/07/11 面试题
小学教师国培感言
2014/02/08 职场文书
群众路线学习笔记范文
2014/11/06 职场文书
表扬信范文
2015/05/04 职场文书
2016年小学生清明节广播稿
2015/12/17 职场文书
大学生安全教育心得体会
2016/01/15 职场文书
Python 多线程之threading 模块的使用
2021/04/14 Python
thinkphp 获取控制器及控制器方法
2021/04/16 PHP
Keras在mnist上的CNN实践,并且自定义loss函数曲线图操作
2021/05/25 Python