python实现爱奇艺登陆密码RSA加密的方法示例详解


Posted in Python onMay 27, 2020

前言

通过Python实现对大麦网近期全国演唱会数据进行爬取,通过分析,我们发现大麦网属于Python爬虫策略中“中等型”难度网站,演唱会数据封装在json文件中。因此,我们简单的通过requests、json就可以将数据爬取出来,后期通过pandas进行数据筛选并保存至Excel文件中。

1.目标网站分析

python实现爱奇艺登陆密码RSA加密的方法示例详解

检查一下看xhr中有没有我们需要的数据。

python实现爱奇艺登陆密码RSA加密的方法示例详解

python实现爱奇艺登陆密码RSA加密的方法示例详解

很好,就在xhr中用json封装了数据。

2.构造相应的Request URL

python实现爱奇艺登陆密码RSA加密的方法示例详解

python实现爱奇艺登陆密码RSA加密的方法示例详解

request url中只有一个参数变化,那就是“Page=”这个选项变了,简单了?,一共6页,直接循环构造了。

python实现爱奇艺登陆密码RSA加密的方法示例详解

for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
# print(url)

3.requests爬虫走起

直接上代码:

def crawl(url): 
 headers={
 'cookie': 'cna=J7K2Fok5AXECARu7QWn6+cxu; isg=BCcnDiP-NfKV5bF-OctWuXuatl3xrPuOyBVJJfmQLrZn6ESqAX0y3jrhCuj2ANMG; l=eBSmWoPRQeT6Zn3iBO5whurza77O1CAf1sPzaNbMiIncC6BR1AvOCJxQLtyCvptRR8XcGLLB4nU7C5eTae7_7CDmndLHuI50MbkyCef..',
 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
 }
 response=requests.get(url,headers=headers)
 json_text=json.loads(response.text)
 # print(json_text.keys())
 rdata=json_text['pageData']['resultData']
 # print(rdata)
 return(rdata)

加一个headers,简单做一个防反爬。

4.保存至excel文件

基本思路是将每页数据保存成pandas的DataFrame结构,然后进行拼接,拼接完后再保存到Excel文件中。

inidata=pd.DataFrame(columns=('name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic'))
for i in range(1,7):
 url=f'https://search.damai.cn/searchajax.html?keyword=&cty=&ctl=%E6%BC%94%E5%94%B1%E4%BC%9A&sctl=&tsg=0&st=&et=&order=1&pageSize=30&currPage={i}&tn='
 # print(url)
 # print(crawl(url))
 data=pd.DataFrame(crawl(url))
 data1=data[['name','actors','cityname','showtime','price_str','venue','venuecity','verticalPic']]
 inidata=inidata.append(data1)
# print(inidata)
inidata.to_excel('大麦网演唱会.xlsx',index=0)

5.看看效果

python实现爱奇艺登陆密码RSA加密的方法示例详解

总结

到此这篇关于python实现爱奇艺登陆的密码RSA加密的文章就介绍到这了,更多相关python实现爱奇艺登陆的密码RSA加密内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现RSA加密(解密)算法
Feb 17 Python
Python面向对象编程中关于类和方法的学习笔记
Jun 30 Python
Django中的CBV和FBV示例介绍
Feb 25 Python
Python 中的Selenium异常处理实例代码
May 03 Python
浅析python继承与多重继承
Sep 13 Python
Pytorch 定义MyDatasets实现多通道分别输入不同数据方式
Jan 15 Python
通过实例了解Python异常处理机制底层实现
Jul 23 Python
Python 中如何写注释
Aug 28 Python
PyCharm最新激活码PyCharm2020.2.3有效
Nov 18 Python
Python pygame实现中国象棋单机版源码
Jun 20 Python
Python中super().__init__()测试以及理解
Dec 06 Python
Python 读取千万级数据自动写入 MySQL 数据库
Jun 28 Python
python如何求100以内的素数
May 27 #Python
pytorch查看通道数 维数 尺寸大小方式
May 26 #Python
Pytorch 使用 nii数据做输入数据的操作
May 26 #Python
python变量的作用域是什么
May 26 #Python
Python3 pywin32模块安装的详细步骤
May 26 #Python
什么是python的列表推导式
May 26 #Python
python中列表的含义及用法
May 26 #Python
You might like
php中使用Curl、socket、file_get_contents三种方法POST提交数据
2011/08/12 PHP
THINKPHP内容分页代码分享
2015/01/14 PHP
PHP快速排序quicksort实例详解
2016/09/28 PHP
PHP使用Redis替代文件存储Session的方法
2017/02/15 PHP
PHP判断是否是微信打开,浏览器打开的方法
2018/03/14 PHP
PHP的微信支付接口使用方法讲解
2019/03/08 PHP
PHP文件后缀不强制为.php方法
2019/03/31 PHP
一个选择最快的服务器转向代码
2009/04/27 Javascript
jQuery 学习第五课 Ajax 使用说明
2010/05/17 Javascript
javascript基础知识大集锦(一) 推荐收藏
2011/01/13 Javascript
jquery(live)中File input的change方法只起一次作用的解决办法
2011/10/21 Javascript
jquery的相对父元素和相对文档定位示例代码
2013/08/02 Javascript
Redis基本知识、安装、部署、配置笔记
2015/03/05 Javascript
ECMA5数组的新增方法有哪些及forEach()模仿实现
2015/11/03 Javascript
js小数计算小数点后显示多位小数的实现方法
2016/05/30 Javascript
概述如何实现一个简单的浏览器端js模块加载器
2016/12/07 Javascript
vue实现通讯录功能
2018/07/14 Javascript
关于微信小程序获取小程序码并接受buffer流保存为图片的方法
2019/06/07 Javascript
Layui弹出层 加载 做编辑页面的方法
2019/09/16 Javascript
15分钟学会vue项目改造成SSR(小白教程)
2019/12/17 Javascript
toString.call()通用的判断数据类型方法示例
2020/08/28 Javascript
python执行shell获取硬件参数写入mysql的方法
2014/12/29 Python
Python中装饰器的一个妙用
2015/02/08 Python
Python中set与frozenset方法和区别详解
2016/05/23 Python
Python 爬虫之超链接 url中含有中文出错及解决办法
2017/08/03 Python
python导包的几种方法(自定义包的生成以及导入详解)
2019/07/15 Python
python django下载大的csv文件实现方法分析
2019/07/19 Python
实例详解Python装饰器与闭包
2019/07/29 Python
python rolling regression. 使用 Python 实现滚动回归操作
2020/06/08 Python
TUMI马来西亚官方网站:国际领先的高品质商旅箱包品牌
2018/04/26 全球购物
保安的辞职报告怎么写
2014/01/20 职场文书
警示教育活动总结
2014/05/05 职场文书
工厂标语大全
2014/10/06 职场文书
家庭财产分割协议范文
2014/11/24 职场文书
5.12护士节活动总结
2015/02/10 职场文书
找规律教学反思
2016/02/23 职场文书