python爬虫中抓取指数的实例讲解


Posted in Python onDecember 01, 2020

有一些数据我们是没法直观的查看的,需要通过抓取去获得。听到指数这个词,有的小伙伴们觉得很复杂,似乎只在股票的时候才听说的,比如一些数据的涨跌分析都是比较棘手的问题。不过指数对于我们的数据分析还是很有帮助的,今天小编就python爬虫中抓取指数得方法给大家带来讲解。

刚好这几天需要用到这个爬虫,结果发现baidu指数的请求有点变化,所以就改了改:

import requests
import sys
import time
word_url = 'http://index.baidu.com/api/SearchApi/thumbnail?area=0&word={}'
COOKIES = ''
headers = {
 'Accept': 'application/json, text/plain, */*',
 'Accept-Encoding': 'gzip, deflate',
 'Accept-Language': 'zh-CN,zh;q=0.9',
 'Cache-Control': 'no-cache',
 'Cookie': COOKIES,
 'DNT': '1',
 'Host': 'index.baidu.com',
 'Pragma': 'no-cache',
 'Proxy-Connection': 'keep-alive',
 'Referer': 'http://index.baidu.com/v2/main/index.html',
 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.90 Safari/537.36',
 'X-Requested-With': 'XMLHttpRequest',
}
def decrypt(t,e):
 n = list(t)
 i = list(e)
 a = {}
 result = []
 ln = int(len(n)/2)
 start = n[ln:]
 end = n[:ln]
 for j,k in zip(start, end):
  a.update({k: j})
 for j in e:
  result.append(a.get(j))
 return ''.join(result)
  
def get_ptbk(uniqid):
 url = 'http://index.baidu.com/Interface/ptbk?uniqid={}'
 resp = requests.get(url.format(uniqid), headers=headers)
 if resp.status_code != 200:
  print('获取uniqid失败')
  sys.exit(1)
 return resp.json().get('data')
def get_index_data(keyword, start='2011-01-03', end='2019-08-05'):
 keyword = str(keyword).replace("'", '"')
 url = f'http://index.baidu.com/api/SearchApi/index?area=0&word={keyword}&area=0&startDate={start}&endDate={end}'
 resp = requests.get(url, headers=headers)
  print('获取指数失败')
 content = resp.json()
 data = content.get('data')
 user_indexes = data.get('userIndexes')[0]
 uniqid = data.get('uniqid')
 ptbk = get_ptbk(uniqid)
 while ptbk is None or ptbk == '':
  ptbk = get_ptbk(uniqid)
 all_data = user_indexes.get('all').get('data')
 result = decrypt(ptbk, all_data)
 result = result.split(',')
 print(result)
if __name__ == '__main__':
 words = [[{"name": "酷安", "wordType": 1}]]
get_index_data(words)

输出:

python爬虫中抓取指数的实例讲解 

运行代码就可以得到我们想要的指数了,当然也可以用来看股票以及其他的一些操作,运用python爬虫解决都是不错的选择,感兴趣的小伙伴也可以跟着小编尝试一下。

到此这篇关于python爬虫中抓取指数的实例讲解的文章就介绍到这了,更多相关python爬虫中如何抓取指数内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python实现mysql数据库更新表数据接口的功能
Nov 19 Python
python实现自动发送邮件
Jun 20 Python
使用Flask集成bootstrap的方法
Jul 24 Python
python中强大的format函数实例详解
Dec 05 Python
在Python文件中指定Python解释器的方法
Feb 18 Python
Python Matplotlib实现三维数据的散点图绘制
Mar 19 Python
Python安装selenium包详细过程
Jul 23 Python
python flask web服务实现更换默认端口和IP的方法
Jul 26 Python
pytorch的梯度计算以及backward方法详解
Jan 10 Python
python上selenium的弹框操作实现
Jul 13 Python
Django实现翻页的示例代码
May 24 Python
Python实战之OpenCV实现猫脸检测
Jun 26 Python
OpenCV灰度化之后图片为绿色的解决
Dec 01 #Python
python批量合成bilibili的m4s缓存文件为MP4格式 ver2.5
Dec 01 #Python
python连接mongodb数据库操作数据示例
Nov 30 #Python
Python实现树莓派摄像头持续录像并传送到主机的步骤
Nov 30 #Python
Python命令行参数定义及需要注意的地方
Nov 30 #Python
用sleep间隔进行python反爬虫的实例讲解
Nov 30 #Python
Python基于Faker假数据构造库
Nov 30 #Python
You might like
php ss7.5的数据调用 (笔记)
2010/03/08 PHP
PHP中session跨子域的三种实现方法
2016/07/25 PHP
分享一个我自己写的ToolTip提示插件(附源码)
2013/01/20 Javascript
js前台分页显示后端JAVA数据响应
2013/03/18 Javascript
Vue数据驱动模拟实现1
2017/01/11 Javascript
jQuery插件Echarts实现的渐变色柱状图
2017/03/23 jQuery
详解Layer弹出层样式
2017/08/21 Javascript
vue2.0之多页面的开发的示例
2018/01/30 Javascript
angularjs实现table增加tr的方法
2018/02/27 Javascript
vue文件树组件使用详解
2018/03/29 Javascript
vuex进阶知识点巩固
2018/05/20 Javascript
JS中DOM元素的attribute与property属性示例详解
2018/09/04 Javascript
浅谈javascript错误处理
2019/08/11 Javascript
vue 使用post/get 下载导出文件操作
2020/08/07 Javascript
[58:11]守擂赛第二周擂主赛 DeMonsTer vs Leopard
2020/04/28 DOTA
[48:00]完美世界DOTA2联赛循环赛 Forest vs Inki BO2第二场 11.04
2020/11/04 DOTA
不要用强制方法杀掉python线程
2017/02/26 Python
运动检测ViBe算法python实现代码
2018/01/09 Python
python-str,list,set间的转换实例
2018/06/27 Python
Python使用pyserial进行串口通信的实例
2019/07/02 Python
pandas 选取行和列数据的方法详解
2019/08/08 Python
Django中文件上传和文件访问微项目的方法
2020/04/27 Python
python中添加模块导入路径的方法
2021/02/03 Python
萌新的HTML5 入门指南
2020/11/06 HTML / CSS
希尔顿酒店官方网站:Hilton Hotels
2017/06/01 全球购物
经济实惠的豪华家具:My-Furniture
2019/03/12 全球购物
美国帽子俱乐部商店:Hat Club
2019/07/05 全球购物
英国羊皮鞋类领先品牌:Just Sheepskin
2019/12/12 全球购物
给校长的建议书400字
2014/05/15 职场文书
服务承诺书格式
2014/05/21 职场文书
企业金融服务方案
2014/06/03 职场文书
酒店七夕情人节活动策划方案
2014/08/24 职场文书
2015年感恩父亲节演讲稿
2015/03/19 职场文书
员工离职证明范本
2015/06/12 职场文书
Vue接口封装的完整步骤记录
2021/05/14 Vue.js
CKAD认证中部署k8s并配置Calico插件
2022/03/31 Servers