python实现爱奇艺登陆密码RSA加密的方法示例详解


Posted in Python onMay 27, 2020

前言

通过Python实现对大麦网近期全国演唱会数据进行爬取,通过分析,我们发现大麦网属于Python爬虫策略中“中等型”难度网站,演唱会数据封装在json文件中。因此,我们简单的通过requests、json就可以将数据爬取出来,后期通过pandas进行数据筛选并保存至Excel文件中。

1.目标网站分析

python实现爱奇艺登陆密码RSA加密的方法示例详解

检查一下看xhr中有没有我们需要的数据。

python实现爱奇艺登陆密码RSA加密的方法示例详解

python实现爱奇艺登陆密码RSA加密的方法示例详解

很好,就在xhr中用json封装了数据。

2.构造相应的Request URL

python实现爱奇艺登陆密码RSA加密的方法示例详解

python实现爱奇艺登陆密码RSA加密的方法示例详解

request url中只有一个参数变化,那就是“Page=”这个选项变了,简单了?,一共6页,直接循环构造了。

python实现爱奇艺登陆密码RSA加密的方法示例详解

for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
# print(url)

3.requests爬虫走起

直接上代码:

def crawl(url): 
 headers={
 'cookie': 'cna=J7K2Fok5AXECARu7QWn6+cxu; isg=BCcnDiP-NfKV5bF-OctWuXuatl3xrPuOyBVJJfmQLrZn6ESqAX0y3jrhCuj2ANMG; l=eBSmWoPRQeT6Zn3iBO5whurza77O1CAf1sPzaNbMiIncC6BR1AvOCJxQLtyCvptRR8XcGLLB4nU7C5eTae7_7CDmndLHuI50MbkyCef..',
 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
 }
 response=requests.get(url,headers=headers)
 json_text=json.loads(response.text)
 # print(json_text.keys())
 rdata=json_text['pageData']['resultData']
 # print(rdata)
 return(rdata)

加一个headers,简单做一个防反爬。

4.保存至excel文件

基本思路是将每页数据保存成pandas的DataFrame结构,然后进行拼接,拼接完后再保存到Excel文件中。

inidata=pd.DataFrame(columns=('name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic'))
for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
 # print(url)
 # print(crawl(url))
 data=pd.DataFrame(crawl(url))
 data1=data[['name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic']]
 inidata=inidata.append(data1)
# print(inidata)
inidata.to_excel('大麦网演唱会.xlsx',index=0)

5.看看效果

python实现爱奇艺登陆密码RSA加密的方法示例详解

总结

到此这篇关于python实现爱奇艺登陆的密码RSA加密的文章就介绍到这了,更多相关python实现爱奇艺登陆的密码RSA加密内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python求素数示例分享
Feb 16 Python
Python实现在matplotlib中两个坐标轴之间画一条直线光标的方法
May 20 Python
Django权限机制实现代码详解
Feb 05 Python
python3库numpy数组属性的查看方法
Apr 17 Python
TensorFlow实现随机训练和批量训练的方法
Apr 28 Python
Python读取英文文件并记录每个单词出现次数后降序输出示例
Jun 28 Python
在Pycharm中执行scrapy命令的方法
Jan 16 Python
Python使用configparser库读取配置文件
Feb 22 Python
python通过函数名调用函数的几种场景
Sep 23 Python
python3处理word文档实例分析
Dec 01 Python
python 使用cycle构造无限循环迭代器
Dec 02 Python
python3中celery异步框架简单使用+守护进程方式启动
Jan 20 Python
python如何求100以内的素数
May 27 #Python
pytorch查看通道数 维数 尺寸大小方式
May 26 #Python
Pytorch 使用 nii数据做输入数据的操作
May 26 #Python
python变量的作用域是什么
May 26 #Python
Python3 pywin32模块安装的详细步骤
May 26 #Python
什么是python的列表推导式
May 26 #Python
python中列表的含义及用法
May 26 #Python
You might like
预告映像公开!第1章续篇剧场版动画《Princess Principal Crown Handler》4月10日上映!
2020/03/06 日漫
php 需要掌握的东西 不做浮躁的人
2009/12/28 PHP
PHP中echo,print_r与var_dump区别分析
2014/09/29 PHP
PHP实现的比较完善的购物车类
2014/12/02 PHP
PHP SplObjectStorage使用实例
2015/05/12 PHP
使用ltrace工具跟踪PHP库函数调用的方法
2016/04/25 PHP
PHP-FPM和Nginx的通信机制详解
2019/02/01 PHP
脚本安需导入(装载)的三种模式的对比
2007/06/24 Javascript
javascript 贪吃蛇实现代码
2008/11/22 Javascript
js 方法实现返回多个数据的代码
2009/04/30 Javascript
表单切换,用回车键替换Tab健(不支持IE)
2011/07/20 Javascript
重写javascript中window.confirm的行为
2012/10/21 Javascript
JavaScript调用堆栈及setTimeout使用方法深入剖析
2013/02/16 Javascript
js实现点击注册按钮开始读秒倒计时的小例子
2013/05/11 Javascript
jquery列表拖动排列(由项目提取相当好用)
2014/06/17 Javascript
Javascript表单验证要注意的事项
2014/09/29 Javascript
深入解读JavaScript中的Iterator和for-of循环
2015/07/28 Javascript
jQuery模拟淘宝购物车功能
2017/02/27 Javascript
关于vue属性使用和不使用冒号的区别说明
2020/10/22 Javascript
python 读取txt中每行数据,并且保存到excel中的实例
2018/04/29 Python
解决python matplotlib imshow无法显示的问题
2018/05/24 Python
使用python将图片按标签分入不同文件夹的方法
2018/12/08 Python
Python魔法方法详解
2019/02/13 Python
使用Python+wxpy 找出微信里把你删除的好友实例
2019/02/21 Python
python下载微信公众号相关文章
2019/02/26 Python
利用Pytorch实现简单的线性回归算法
2020/01/15 Python
使用Python发现隐藏的wifi
2020/03/04 Python
Python基于pandas绘制散点图矩阵代码实例
2020/06/04 Python
澳大利亚女性快速时尚零售商:Ally Fashion
2018/04/25 全球购物
关于环保的标语
2014/06/13 职场文书
中秋节活动总结
2014/08/29 职场文书
2015年世界艾滋病日活动总结
2015/03/24 职场文书
时尚女魔头观后感
2015/06/04 职场文书
工作年限证明模板
2015/06/15 职场文书
医生行业员工的辞职信
2019/06/24 职场文书
Flask使用SQLAlchemy实现持久化数据
2021/07/16 Python