python实现爱奇艺登陆密码RSA加密的方法示例详解


Posted in Python onMay 27, 2020

前言

通过Python实现对大麦网近期全国演唱会数据进行爬取,通过分析,我们发现大麦网属于Python爬虫策略中“中等型”难度网站,演唱会数据封装在json文件中。因此,我们简单的通过requests、json就可以将数据爬取出来,后期通过pandas进行数据筛选并保存至Excel文件中。

1.目标网站分析

python实现爱奇艺登陆密码RSA加密的方法示例详解

检查一下看xhr中有没有我们需要的数据。

python实现爱奇艺登陆密码RSA加密的方法示例详解

python实现爱奇艺登陆密码RSA加密的方法示例详解

很好,就在xhr中用json封装了数据。

2.构造相应的Request URL

python实现爱奇艺登陆密码RSA加密的方法示例详解

python实现爱奇艺登陆密码RSA加密的方法示例详解

request url中只有一个参数变化,那就是“Page=”这个选项变了,简单了?,一共6页,直接循环构造了。

python实现爱奇艺登陆密码RSA加密的方法示例详解

for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
# print(url)

3.requests爬虫走起

直接上代码:

def crawl(url): 
 headers={
 'cookie': 'cna=J7K2Fok5AXECARu7QWn6+cxu; isg=BCcnDiP-NfKV5bF-OctWuXuatl3xrPuOyBVJJfmQLrZn6ESqAX0y3jrhCuj2ANMG; l=eBSmWoPRQeT6Zn3iBO5whurza77O1CAf1sPzaNbMiIncC6BR1AvOCJxQLtyCvptRR8XcGLLB4nU7C5eTae7_7CDmndLHuI50MbkyCef..',
 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
 }
 response=requests.get(url,headers=headers)
 json_text=json.loads(response.text)
 # print(json_text.keys())
 rdata=json_text['pageData']['resultData']
 # print(rdata)
 return(rdata)

加一个headers,简单做一个防反爬。

4.保存至excel文件

基本思路是将每页数据保存成pandas的DataFrame结构,然后进行拼接,拼接完后再保存到Excel文件中。

inidata=pd.DataFrame(columns=('name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic'))
for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
 # print(url)
 # print(crawl(url))
 data=pd.DataFrame(crawl(url))
 data1=data[['name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic']]
 inidata=inidata.append(data1)
# print(inidata)
inidata.to_excel('大麦网演唱会.xlsx',index=0)

5.看看效果

python实现爱奇艺登陆密码RSA加密的方法示例详解

总结

到此这篇关于python实现爱奇艺登陆的密码RSA加密的文章就介绍到这了,更多相关python实现爱奇艺登陆的密码RSA加密内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python实现将n个点均匀地分布在球面上的方法
Mar 12 Python
python3 实现的人人影视网站自动签到
Jun 19 Python
利用python3随机生成中文字符的实现方法
Nov 24 Python
对python生成业务报表的实例详解
Feb 03 Python
详解django2中关于时间处理策略
Mar 06 Python
python使用BeautifulSoup与正则表达式爬取时光网不同地区top100电影并对比
Apr 15 Python
python3.6中@property装饰器的使用方法示例
Aug 17 Python
使用Tensorflow将自己的数据分割成batch训练实例
Jan 20 Python
tensorflow生成多个tfrecord文件实例
Feb 17 Python
python实现打砖块游戏
Feb 25 Python
爬虫代理的cookie如何生成运行
Sep 22 Python
python字符串的多行输出的实例详解
Jun 08 Python
python如何求100以内的素数
May 27 #Python
pytorch查看通道数 维数 尺寸大小方式
May 26 #Python
Pytorch 使用 nii数据做输入数据的操作
May 26 #Python
python变量的作用域是什么
May 26 #Python
Python3 pywin32模块安装的详细步骤
May 26 #Python
什么是python的列表推导式
May 26 #Python
python中列表的含义及用法
May 26 #Python
You might like
PHP4实际应用经验篇(4)
2006/10/09 PHP
wamp服务器访问php非常缓慢的解决过程
2015/07/01 PHP
php实现留言板功能(代码详解)
2017/03/28 PHP
php将从数据库中获得的数据转换成json格式并输出的方法
2018/08/21 PHP
Yii2.0 RESTful API 基础配置教程详解
2018/12/26 PHP
jQuery对象和DOM对象使用说明
2010/06/25 Javascript
jquery ui对话框实例代码
2013/05/10 Javascript
js 通用订单代码
2013/12/23 Javascript
js中string转int把String类型转化成int类型
2014/08/13 Javascript
Javascript中Date类型和Math类型详解
2016/02/27 Javascript
JavaScript中push(),join() 函数 实例详解
2016/09/06 Javascript
Angular.js中$resource高大上的数据交互详解
2017/07/30 Javascript
分享5个顶级的JavaScript Ajax组件库
2018/09/16 Javascript
JS使用队列对数组排列,基数排序算法示例
2019/03/02 Javascript
基于node简单实现RSA加解密的方法步骤
2019/03/21 Javascript
Vue CLI2升级至Vue CLI3的方法步骤
2019/05/20 Javascript
细述Javascript的加法运算符的具体使用
2019/10/18 Javascript
Python的装饰器模式与面向切面编程详解
2015/06/21 Python
Python爬虫实现简单的爬取有道翻译功能示例
2018/07/13 Python
Django使用redis缓存服务器的实现代码示例
2019/04/28 Python
Python二进制文件读取并转换为浮点数详解
2019/06/25 Python
Python中的 ansible 动态Inventory 脚本
2020/01/19 Python
Python获取二维数组的行列数的2种方法
2020/02/11 Python
Python 实现Image和Ndarray互相转换
2020/02/19 Python
浅析python标准库中的glob
2020/03/13 Python
Django ModelForm操作及验证方式
2020/03/30 Python
详解python3类型注释annotations实用案例
2021/01/20 Python
青年创业培训欢迎词
2014/01/08 职场文书
护士毕业自我鉴定
2014/02/07 职场文书
外语系大学生自荐信范文
2014/03/01 职场文书
家长会欢迎标语
2014/06/24 职场文书
酒店爱岗敬业演讲稿
2014/09/02 职场文书
英文道歉信
2015/01/20 职场文书
Vue3如何理解ref toRef和toRefs的区别
2022/02/18 Vue.js
R9700摩机记
2022/04/05 无线电
js前端面试常见浏览器缓存强缓存及协商缓存实例
2022/06/21 Javascript