Python爬取YY评级分数并保存数据实现过程解析


Posted in Python onJune 01, 2020

前言

当需要进行大规模查询时(比如目前遇到的情形:查询某个省所有发债企业的YY评级分数),人工查询显然太过费时,那就写个爬虫吧。

由于该爬虫实在过于简单,就只简单概述下。

一、请求端

通过观察YY评级的网页信息,如下图(F12或右击进入检查,点击network—>XHR—>headers)。

红色框表明是个get请求(其实这种网页基本都是Ajax get,需要总结实际url的规律的)。

绿色框即为实际URL,通过分析该URL,其由两部分组成。前半部分为“
https://web.ratingdog.cn/v1/search?”,后半部分为黄色框内内容用“&”符号连接后的结果。黄色框内的内容,只有企业名称为变量,且为已知变量,那URL即可据此确定了。

Python爬取YY评级分数并保存数据实现过程解析

另外需注意,YY评级需要登录才可查询数据,在构建头部信息进行访问时,一定要提前登录,并在头部信息中放入登录信息和登录状态。

二、响应端

通过观察网页的响应信息(F12或右击进入检查,点击network—>XHR—>response),如下图。响应信息及其简单,我们所需要的YY评级分数安详地躺在那里,简单到一个正则表达式就可以提取出该数据。正则如下:

"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"

Python爬取YY评级分数并保存数据实现过程解析

三、代码

所需数据较少,代码相对简单,就不建立函数了,直接一路到底吧。如下:

Python爬取YY评级分数并保存数据实现过程解析

运行代码后,得到结果如下。安徽省的100多条数据,就到了本地了

Python爬取YY评级分数并保存数据实现过程解析

Python爬取YY评级分数并保存数据实现过程解析

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python内置函数Type()函数一个有趣的用法
Feb 18 Python
python实现搜索指定目录下文件及文件内搜索指定关键词的方法
Jun 28 Python
python matplotlib库直方图绘制详解
Aug 10 Python
解决python3 安装不了PIL的问题
Aug 16 Python
python实现井字棋小游戏
Mar 04 Python
基于plt.title无法显示中文的快速解决
May 16 Python
Python pathlib模块使用方法及实例解析
Oct 05 Python
python利用 keyboard 库记录键盘事件
Oct 16 Python
Anaconda详细安装步骤图文教程
Nov 12 Python
Django vue前后端分离整合过程解析
Nov 20 Python
OpenCV灰度化之后图片为绿色的解决
Dec 01 Python
Python编程super应用场景及示例解析
Oct 05 Python
基于Python绘制个人足迹地图
Jun 01 #Python
python 写函数在一定条件下需要调用自身时的写法说明
Jun 01 #Python
解决python调用自己文件函数/执行函数找不到包问题
Jun 01 #Python
Python如何在循环内使用list.remove()
Jun 01 #Python
IntelliJ 中配置 Anaconda的过程图解
Jun 01 #Python
解决python中import文件夹下面py文件报错问题
Jun 01 #Python
浅谈Python中文件夹和python package包的区别
Jun 01 #Python
You might like
php session 检测和注销
2009/03/16 PHP
基于Codeigniter框架实现的student信息系统站点动态发布功能详解
2017/03/23 PHP
页面中body onload 和 window.onload 冲突的问题的解决
2009/07/01 Javascript
javascript与CSS复习(《精通javascript》)
2010/06/29 Javascript
关于firefox的ElementTraversal 接口 使用说明
2010/11/11 Javascript
运算符&&的三个不同层次
2013/04/07 Javascript
jQuery内容折叠效果插件用法实例分析(附demo源码)
2016/04/28 Javascript
微信小程序开发之选项卡(窗口底部TabBar)页面切换
2017/04/12 Javascript
VUE axios上传图片到七牛的实例代码
2017/07/28 Javascript
js实现网页的两个input标签内的数值加减(示例代码)
2017/08/15 Javascript
jquery如何实现点击空白处隐藏元素
2017/12/05 jQuery
原生js实现简单的焦点图效果实例
2017/12/14 Javascript
Vue进度条progressbar组件功能
2018/04/17 Javascript
vue实现分页组件
2020/06/16 Javascript
详解如何写出一个利于扩展的vue路由配置
2019/05/16 Javascript
Vue实现简单的跑马灯
2020/05/25 Javascript
Vue 简单实现前端权限控制的示例
2020/12/25 Vue.js
使用python搭建Django应用程序步骤及版本冲突问题解决
2013/11/19 Python
深入理解Python中各种方法的运作原理
2015/06/15 Python
Python的自动化部署模块Fabric的安装及使用指南
2016/01/19 Python
对Python3 pyc 文件的使用详解
2019/02/16 Python
python+selenium实现自动化百度搜索关键词
2019/06/03 Python
Python实现的统计文章单词次数功能示例
2019/07/08 Python
利用 Python ElementTree 生成 xml的实例
2020/03/06 Python
简单了解Python变量作用域正确使用方法
2020/06/12 Python
python数据类型强制转换实例详解
2020/06/22 Python
Python通过类的组合模拟街道红绿灯
2020/09/16 Python
python利用platform模块获取系统信息
2020/10/09 Python
美国派对用品及装饰品网上商店:Shindigz
2016/07/30 全球购物
广告设计应届生求职信
2014/03/01 职场文书
年终总结会议主持词
2014/03/17 职场文书
质量提升方案
2014/06/16 职场文书
2015年少先队活动总结
2015/03/25 职场文书
财务总监岗位职责范本
2015/04/03 职场文书
学习师德师风的心得体会(2篇)
2019/10/08 职场文书
面试官问我Mysql的存储引擎了解多少
2022/08/05 MySQL