python实现爱奇艺登陆密码RSA加密的方法示例详解


Posted in Python onMay 27, 2020

前言

通过Python实现对大麦网近期全国演唱会数据进行爬取,通过分析,我们发现大麦网属于Python爬虫策略中“中等型”难度网站,演唱会数据封装在json文件中。因此,我们简单的通过requests、json就可以将数据爬取出来,后期通过pandas进行数据筛选并保存至Excel文件中。

1.目标网站分析

python实现爱奇艺登陆密码RSA加密的方法示例详解

检查一下看xhr中有没有我们需要的数据。

python实现爱奇艺登陆密码RSA加密的方法示例详解

python实现爱奇艺登陆密码RSA加密的方法示例详解

很好,就在xhr中用json封装了数据。

2.构造相应的Request URL

python实现爱奇艺登陆密码RSA加密的方法示例详解

python实现爱奇艺登陆密码RSA加密的方法示例详解

request url中只有一个参数变化,那就是“Page=”这个选项变了,简单了?,一共6页,直接循环构造了。

python实现爱奇艺登陆密码RSA加密的方法示例详解

for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
# print(url)

3.requests爬虫走起

直接上代码:

def crawl(url): 
 headers={
 'cookie': 'cna=J7K2Fok5AXECARu7QWn6+cxu; isg=BCcnDiP-NfKV5bF-OctWuXuatl3xrPuOyBVJJfmQLrZn6ESqAX0y3jrhCuj2ANMG; l=eBSmWoPRQeT6Zn3iBO5whurza77O1CAf1sPzaNbMiIncC6BR1AvOCJxQLtyCvptRR8XcGLLB4nU7C5eTae7_7CDmndLHuI50MbkyCef..',
 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
 }
 response=requests.get(url,headers=headers)
 json_text=json.loads(response.text)
 # print(json_text.keys())
 rdata=json_text['pageData']['resultData']
 # print(rdata)
 return(rdata)

加一个headers,简单做一个防反爬。

4.保存至excel文件

基本思路是将每页数据保存成pandas的DataFrame结构,然后进行拼接,拼接完后再保存到Excel文件中。

inidata=pd.DataFrame(columns=('name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic'))
for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
 # print(url)
 # print(crawl(url))
 data=pd.DataFrame(crawl(url))
 data1=data[['name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic']]
 inidata=inidata.append(data1)
# print(inidata)
inidata.to_excel('大麦网演唱会.xlsx',index=0)

5.看看效果

python实现爱奇艺登陆密码RSA加密的方法示例详解

总结

到此这篇关于python实现爱奇艺登陆的密码RSA加密的文章就介绍到这了,更多相关python实现爱奇艺登陆的密码RSA加密内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
从零学Python之引用和类属性的初步理解
May 15 Python
在Python中进行自动化单元测试的教程
Apr 15 Python
Python列表常见操作详解(获取,增加,删除,修改,排序等)
Feb 18 Python
Python3中编码与解码之Unicode与bytes的讲解
Feb 28 Python
Win10下Python3.7.3安装教程图解
Jul 08 Python
django如何自己创建一个中间件
Jul 24 Python
Linux下通过python获取本机ip方法示例
Sep 06 Python
Python3使用xml.dom.minidom和xml.etree模块儿解析xml文件封装函数的方法
Sep 23 Python
python 实现读取csv数据,分类求和 再写进 csv
May 18 Python
详解Pandas 处理缺失值指令大全
Jul 30 Python
No module named ‘win32gui‘ 的解决方法(踩坑之旅)
Feb 18 Python
Django框架中视图的用法
Jun 10 Python
python如何求100以内的素数
May 27 #Python
pytorch查看通道数 维数 尺寸大小方式
May 26 #Python
Pytorch 使用 nii数据做输入数据的操作
May 26 #Python
python变量的作用域是什么
May 26 #Python
Python3 pywin32模块安装的详细步骤
May 26 #Python
什么是python的列表推导式
May 26 #Python
python中列表的含义及用法
May 26 #Python
You might like
解析PHP处理换行符的问题 \r\n
2013/06/13 PHP
PHP编程中的常见漏洞和代码实例
2014/08/06 PHP
PHP+Ajax 检测网络是否正常实例详解
2016/12/16 PHP
php类自动装载、链式操作、魔术方法实现代码
2017/07/23 PHP
PHP实现简单计算器小程序
2020/08/28 PHP
基于JQuery实现图片轮播效果(焦点图)
2016/02/02 Javascript
Bootstrap轮播插件简单使用方法介绍
2016/06/21 Javascript
Javascript将数字转化成为货币格式字符串
2016/06/22 Javascript
老生常谈js动态添加事件--- 事件委托
2016/07/19 Javascript
three.js实现围绕某物体旋转
2017/01/25 Javascript
AngularJS中使用ngModal模态框实例
2017/05/27 Javascript
pm2 部署 node的三种方法示例
2017/10/20 Javascript
sublime text配置node.js调试(图文教程)
2017/11/23 Javascript
react-native动态切换tab组件的方法
2018/07/07 Javascript
javascript中floor使用方法总结
2019/02/02 Javascript
webpack常用构建优化策略小结
2019/11/21 Javascript
Element Breadcrumb 面包屑的使用方法
2020/07/26 Javascript
解决nuxt页面中mounted、created、watch执行两遍的问题
2020/11/05 Javascript
vue实现防抖的实例代码
2021/01/11 Vue.js
[02:56]DOTA2亚洲邀请赛 VG出场战队巡礼
2015/02/07 DOTA
[06:09]辉夜杯主赛事开幕式
2015/12/25 DOTA
Python的包管理器pip更换软件源的方法详解
2016/06/20 Python
Python中整数的缓存机制讲解
2019/02/16 Python
浅析Python 中几种字符串格式化方法及其比较
2019/07/02 Python
Python中qutip用法示例详解
2020/10/02 Python
Python pathlib模块使用方法及实例解析
2020/10/05 Python
AmazeUI中各种的导航式菜单与解决方法
2020/08/19 HTML / CSS
澳大利亚二手奢侈品网站:Modsie
2019/09/23 全球购物
利达恒信公司.NET笔试题面试题
2016/03/05 面试题
上班迟到检讨书
2014/01/10 职场文书
课堂教学改革实施方案
2014/03/17 职场文书
工商企业管理应届生求职信
2014/05/04 职场文书
用人单位终止解除劳动合同证明书
2014/10/06 职场文书
办公室主任个人对照检查材料思想汇报
2014/10/11 职场文书
2016国培学习心得体会
2016/01/08 职场文书
React Hook用法示例详解(6个常见hook)
2021/04/28 Javascript