详解使用python爬取抖音app视频(appium可以操控手机)


Posted in Python onJanuary 26, 2021

记录一下如何用python爬取app数据,本文以爬取抖音视频app为例。

编程工具:pycharm

app抓包工具:mitmproxy

app自动化工具:appium

运行环境:windows10

思路:

假设已经配置好我们所需要的工具

1、使用mitmproxy对手机app抓包获取我们想要的内容

2、利用appium自动化测试工具,驱动app模拟人的动作(滑动、点击等)

3、将1和2相结合达到自动化爬虫的效果

一、mitmproxy/mitmdump抓包

确保已经安装好了mitmproxy,并且手机和PC处于同一个局域网下,同时也配置好了mitmproxy的CA证书,网上有很多相关的配置教程,这里我就略过了。

因为mitmproxy不支持windows系统,所以这里用的是它的组件之一mitmdump,它是mitmproxy的命令行接口,可以利用它对接我们的Python脚本,用Python实现监听后的处理。

在配置好mitmproxy之后,在控制台上输入mitmdump并在手机上打开抖音app,mitmdump会呈现手机上的所有请求,如下图

详解使用python爬取抖音app视频(appium可以操控手机)

可以在抖音app一直往下滑,看mitmdump所展示的请求,会发现前缀分别为

http://v1-dy.ixigua.com/;http://v3-dy.ixigua.com/;http://v9-dy.ixigua.com/

这3个类型前缀的url正是我们的目标抖音视频url。

那接下来就要编写python脚本将视频下载下来,需要使用 mitmdump -s scripts.py(此处为python文件名)来执行脚本。

import requests
# 文件路径
path = 'D:/video/' 
num = 1788
def response(flow): 
global num 
# 经测试发现视频url前缀主要是3个
target_urls = ['http://v1-dy.ixigua.com/', 'http://v9-dy.ixigua.com/','http://v3-dy.ixigua.com/']
for url in target_urls:
# 过滤掉不需要的url
if flow.request.url.startswith(url):
# 设置视频名 
filename = path + str(num) + '.mp4' 
# 使用request获取视频url的内容 
# stream=True作用是推迟下载响应体直到访问Response.content属性
res = requests.get(flow.request.url, stream=True)
# 将视频写入文件夹 
with open(filename, 'ab') as f: 
f.write(res.content) 
f.flush()
print(filename + '下载完成')
num += 1

代码写得比较粗糙,不过基本的逻辑还是比较清晰的,这样我们就可以把抖音的视频下载下来,不过这个方法有个缺陷,就是获取视频需要人来不断地滑动抖音的下一个视频,这时候我们可以用一个强大的appium自动化测试工具来解决。

二、Appium对手机进行模拟操作

确保已经配置好appium所依赖的环境Android和SDK,网上也有许多教程,这里我就不说了。

appium的用法很简单,首先我们先打开appium,启动界面如下

详解使用python爬取抖音app视频(appium可以操控手机)

点击Start Server按钮即可启动appium服务

详解使用python爬取抖音app视频(appium可以操控手机)

将Android手机通过数据线与PC相连,同时打开USE调试功能,可以输入adb命令(具体可以去网上查找)测试连接情况,若出现以下结果,则说明连接成功

详解使用python爬取抖音app视频(appium可以操控手机)

model是设备名,后面配置需要用到。之后点击下图箭头所指的按钮就会出现一个配置页面

详解使用python爬取抖音app视频(appium可以操控手机)

详解使用python爬取抖音app视频(appium可以操控手机)

在右下角的JSON Representation配置启动app的Desired Capabilities参数,分别是paltformName、deviceName、appPackage、appActivity。

platformName:平台名称,一般是Android或iOS.

deviceName:设备名称,手机的具体类型

appPackage:App程序包名

appActivity:入口Activity名,通常以.开头

详解使用python爬取抖音app视频(appium可以操控手机)

platformName和deviceName比较容易获得,而appPackage和appActivity这两个可以通过以下方法获取到。

在控制台上输入   adb logcat>D:\log.log  命令,并且在手机打开抖音app,然后在D盘中打开log.log文件,查找Displayed关键字

详解使用python爬取抖音app视频(appium可以操控手机)

由上图可以知道Displayed后面的 com.ss.android.ugc.aweme对应的是appPackage,.main.MainActivity对应的是appActivity,最后我们的配置结果如下:

{
 "platformName": "Android",
 "deviceName": "Mi_Note_3",
 "appPackage": "com.ss.android.ugc.aweme",
 "appActivity": ".main.MainActivity"
}

再点击Start Session即可启动Android手机上的抖音app并进入到启动页面,同时PC上会弹出一个调试窗口,从这个窗口可以预览当前手机页面,还可以对手机模拟各种操作,在本文不是重点,所以略过。

详解使用python爬取抖音app视频(appium可以操控手机)

在下面我们将使用python脚本来驱动app,直接在pycharm运行即可

from appium import webdriver
from time import sleep
class Action():
def __init__(self):
# 初始化配置,设置Desired Capabilities参数
self.desired_caps = {
"platformName": "Android",
"deviceName": "Mi_Note_3",
"appPackage": "com.ss.android.ugc.aweme",
"appActivity": ".main.MainActivity"
}
# 指定Appium Server
self.server = 'http://localhost:4723/wd/hub'
# 新建一个Session
self.driver = webdriver.Remote(self.server, self.desired_caps)
# 设置滑动初始坐标和滑动距离
self.start_x = 500
self.start_y = 1500
self.distance = 1300 
def comments(self):
sleep(2)
# app开启之后点击一次屏幕,确保页面的展示
self.driver.tap([(500, 1200)], 500) 
def scroll(self):
# 无限滑动
while True:
# 模拟滑动
self.driver.swipe(self.start_x, self.start_y, self.start_x,
self.start_y-self.distance)
# 设置延时等待
sleep(2)
def main(self):
self.comments()
self.scroll() 
if __name__ == '__main__':
action = Action()
action.main()

下面是爬虫的过程。ps:偶尔会爬取到重复的视频

详解使用python爬取抖音app视频(appium可以操控手机)

详解使用python爬取抖音app视频(appium可以操控手机)

到此这篇关于详解使用python爬取抖音app视频(appium可以操控手机)的文章就介绍到这了,更多相关python爬取抖音app视频内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python定时检查启动某个exe程序适合检测exe是否挂了
Jan 21 Python
python strip()函数 介绍
May 24 Python
两个命令把 Vim 打造成 Python IDE的方法
Mar 20 Python
利用python获取某年中每个月的第一天和最后一天
Dec 15 Python
Python3.6安装及引入Requests库的实现方法
Jan 24 Python
对python中使用requests模块参数编码的不同处理方法
May 18 Python
Python玩转PDF的各种骚操作
May 06 Python
对Python中画图时候的线类型详解
Jul 07 Python
详解Anconda环境下载python包的教程(图形界面+命令行+pycharm安装)
Nov 11 Python
Python通过VGG16模型实现图像风格转换操作详解
Jan 16 Python
如何使用selenium和requests组合实现登录页面
Feb 03 Python
Python 格式化打印json数据方法(展开状态)
Feb 27 Python
python Matplotlib基础--如何添加文本和标注
Jan 26 #Python
python如何用matplotlib创建三维图表
Jan 26 #Python
python软件测试Jmeter性能测试JDBC Request(结合数据库)的使用详解
Jan 26 #Python
Python数据模型与Python对象模型的相关总结
Jan 26 #Python
使用豆瓣源来安装python中的第三方库方法
Jan 26 #Python
详解用selenium来下载小姐姐图片并保存
Jan 26 #Python
selenium与xpath之获取指定位置的元素的实现
Jan 26 #Python
You might like
PHP 将数组打乱 shuffle函数的用法及简单实例
2016/06/17 PHP
PHP获取数组中单列值的方法
2017/06/10 PHP
PHP基于DateTime类解决Unix时间戳与日期互转问题【针对1970年前及2038年后时间戳】
2018/06/13 PHP
面向对象的Javascript之二(接口实现介绍)
2012/01/27 Javascript
JavaScript 用cloneNode方法克隆节点的代码
2012/10/15 Javascript
JavaScript改变HTML元素的样式改变CSS及元素属性
2013/11/12 Javascript
使用jQuery和Bootstrap实现多层、自适应模态窗口
2014/12/22 Javascript
JS实现文件动态顺序载入的方法
2015/03/07 Javascript
javascript实现简单的二级联动
2015/03/19 Javascript
jquery中val()方法是从最后一个选项往前读取的
2015/09/06 Javascript
jquery中cookie用法实例详解(获取,存储,删除等)
2016/01/04 Javascript
Js 获取当前函数参数对象的实现代码
2016/06/20 Javascript
javascript鼠标滑过显示二级菜单特效
2020/11/18 Javascript
js获取上传文件的绝对路径实现方法
2016/08/02 Javascript
vue自定义指令实现v-tap插件
2016/11/03 Javascript
ionic进入多级目录后隐藏底部导航栏(tabs)的完美解决方案
2016/11/23 Javascript
Vue2.0父子组件传递函数的教程详解
2017/10/16 Javascript
javascript实现Emrips反质数枚举的示例代码
2017/12/06 Javascript
浅谈webpack4 图片处理汇总
2018/09/12 Javascript
angularJs select绑定的model取不到值的解决方法
2018/10/08 Javascript
利用python 更新ssh 远程代码 操作远程服务器的实现代码
2018/02/08 Python
python 检查是否为中文字符串的方法
2018/12/28 Python
对Python多线程读写文件加锁的实例详解
2019/01/14 Python
pytorch打印网络结构的实例
2019/08/19 Python
Pytest单元测试框架如何实现参数化
2020/09/05 Python
Python confluent kafka客户端配置kerberos认证流程详解
2020/10/12 Python
浅谈css3中calc在less编译时被计算的解决办法
2017/12/04 HTML / CSS
html5摇一摇代码优化包括DeviceMotionEvent等等
2014/09/01 HTML / CSS
你常见到的runtime exception
2016/09/05 面试题
How to spawning asynchronous work in J2EE
2016/08/29 面试题
大学生简单自荐信
2013/11/10 职场文书
表扬信格式
2014/01/12 职场文书
大学毕业感言200字
2014/03/09 职场文书
银行委托书范本
2014/04/04 职场文书
党支部创先争优公开承诺书
2015/04/30 职场文书
社区艾滋病宣传活动总结
2015/05/07 职场文书