python实现爱奇艺登陆密码RSA加密的方法示例详解


Posted in Python onMay 27, 2020

前言

通过Python实现对大麦网近期全国演唱会数据进行爬取,通过分析,我们发现大麦网属于Python爬虫策略中“中等型”难度网站,演唱会数据封装在json文件中。因此,我们简单的通过requests、json就可以将数据爬取出来,后期通过pandas进行数据筛选并保存至Excel文件中。

1.目标网站分析

python实现爱奇艺登陆密码RSA加密的方法示例详解

检查一下看xhr中有没有我们需要的数据。

python实现爱奇艺登陆密码RSA加密的方法示例详解

python实现爱奇艺登陆密码RSA加密的方法示例详解

很好,就在xhr中用json封装了数据。

2.构造相应的Request URL

python实现爱奇艺登陆密码RSA加密的方法示例详解

python实现爱奇艺登陆密码RSA加密的方法示例详解

request url中只有一个参数变化,那就是“Page=”这个选项变了,简单了?,一共6页,直接循环构造了。

python实现爱奇艺登陆密码RSA加密的方法示例详解

for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
# print(url)

3.requests爬虫走起

直接上代码:

def crawl(url): 
 headers={
 'cookie': 'cna=J7K2Fok5AXECARu7QWn6+cxu; isg=BCcnDiP-NfKV5bF-OctWuXuatl3xrPuOyBVJJfmQLrZn6ESqAX0y3jrhCuj2ANMG; l=eBSmWoPRQeT6Zn3iBO5whurza77O1CAf1sPzaNbMiIncC6BR1AvOCJxQLtyCvptRR8XcGLLB4nU7C5eTae7_7CDmndLHuI50MbkyCef..',
 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
 }
 response=requests.get(url,headers=headers)
 json_text=json.loads(response.text)
 # print(json_text.keys())
 rdata=json_text['pageData']['resultData']
 # print(rdata)
 return(rdata)

加一个headers,简单做一个防反爬。

4.保存至excel文件

基本思路是将每页数据保存成pandas的DataFrame结构,然后进行拼接,拼接完后再保存到Excel文件中。

inidata=pd.DataFrame(columns=('name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic'))
for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
 # print(url)
 # print(crawl(url))
 data=pd.DataFrame(crawl(url))
 data1=data[['name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic']]
 inidata=inidata.append(data1)
# print(inidata)
inidata.to_excel('大麦网演唱会.xlsx',index=0)

5.看看效果

python实现爱奇艺登陆密码RSA加密的方法示例详解

总结

到此这篇关于python实现爱奇艺登陆的密码RSA加密的文章就介绍到这了,更多相关python实现爱奇艺登陆的密码RSA加密内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python计算程序运行时间的方法
Dec 13 Python
详解Python3中字符串中的数字提取方法
Jan 14 Python
快速实现基于Python的微信聊天机器人示例代码
Mar 03 Python
用python处理图片之打开\显示\保存图像的方法
May 04 Python
Jupyter notebook远程访问服务器的方法
May 24 Python
对matplotlib改变colorbar位置和方向的方法详解
Dec 13 Python
python 通过类中一个方法获取另一个方法变量的实例
Jan 22 Python
Flask框架学习笔记之使用Flask实现表单开发详解
Aug 12 Python
Django 请求Request的具体使用方法
Nov 11 Python
在django项目中导出数据到excel文件并实现下载的功能
Mar 13 Python
pycharm 代码自动补全的实现方法(图文)
Sep 18 Python
Pycharm Plugins加载失败问题解决方案
Nov 28 Python
python如何求100以内的素数
May 27 #Python
pytorch查看通道数 维数 尺寸大小方式
May 26 #Python
Pytorch 使用 nii数据做输入数据的操作
May 26 #Python
python变量的作用域是什么
May 26 #Python
Python3 pywin32模块安装的详细步骤
May 26 #Python
什么是python的列表推导式
May 26 #Python
python中列表的含义及用法
May 26 #Python
You might like
php从数据库中读取特定的行(实例)
2017/06/02 PHP
PHP中PDO事务处理操作示例
2018/05/02 PHP
laravel框架中控制器的创建和使用方法分析
2019/11/23 PHP
PHP safe_mode开启对于PHP系统函数有什么影响
2020/11/10 PHP
非html5实现js版弹球游戏示例代码
2013/09/22 Javascript
js中的scroll和offset 使用比较的实例与分析
2013/09/29 Javascript
jQuery判断对象是否存在的方法
2015/02/05 Javascript
javascript时间差插件分享
2016/07/18 Javascript
只需五句话搞定JavaScript作用域(经典)
2016/07/26 Javascript
js实现定时进度条完成后切换图片
2017/01/04 Javascript
详细AngularJs4的图片剪裁组件的实例
2017/07/12 Javascript
关于angularJs清除浏览器缓存的方法
2017/11/28 Javascript
vue项目中引入vue-datepicker插件的详解
2019/05/14 Javascript
实现高性能javascript的注意事项
2019/05/27 Javascript
5个你不知道的JavaScript字符串处理库(小结)
2020/06/01 Javascript
基于原生js实现判断元素是否有指定class名
2020/07/11 Javascript
[01:23:35]Ti4主赛事胜者组 DK vs EG 1
2014/07/19 DOTA
Python3的urllib.parse常用函数小结(urlencode,quote,quote_plus,unquote,unquote_plus等)
2016/09/18 Python
python数据处理实战(必看篇)
2017/06/11 Python
Python中动态检测编码chardet的使用教程
2017/07/06 Python
django开发post接口简单案例,获取参数值的方法
2018/12/11 Python
Python3爬虫学习之爬虫利器Beautiful Soup用法分析
2018/12/12 Python
tensorflow2.0教程之Keras快速入门
2021/02/20 Python
N.Peal官网:来自伦敦的高档羊绒品牌
2018/10/29 全球购物
芝加哥牛排公司:Chicago Steak Company
2018/10/31 全球购物
Dr. Martens马汀博士德国官网:马丁靴鼻祖
2019/12/26 全球购物
德国富尔达运动鞋店:43einhalb
2020/12/25 全球购物
JAVA招聘远程笔试题
2015/07/23 面试题
纠纷协议书
2014/04/16 职场文书
2014年班主任自我评价范文
2014/04/23 职场文书
关于读书的演讲稿500字
2014/08/27 职场文书
机关党员公开承诺书
2014/08/30 职场文书
个人政风行风自查自纠报告
2014/10/21 职场文书
vue引入Excel表格插件的方法
2021/04/28 Vue.js
netty 实现tomcat的示例代码
2022/06/05 Servers
蓝牙耳机怎么连接电脑win11? Win11蓝牙耳机连接电脑的技巧
2023/01/09 数码科技