python批量爬取下载抖音视频


Posted in Python onJune 17, 2019

本文实例为大家分享了python批量爬取下载抖音视频的具体代码,供大家参考,具体内容如下

import os
import requests
import re
import sys
import asyncio
import aiohttp

headers = {
  'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) '
         'Version/11.0 Mobile/15A372 Safari/604.1'
}

VIDEO_URLS, PAGE = [], 1


def get_info(url):
  """
  :param url: 用户的链接
  :return:返回name,dytk,user_id 参数
  """
  name = None
  dytk = None
  user_id = None
  try:
    response = requests.get(url, headers=headers)
    user_id = response.url.split('/')[5].split('?')[0]
    name = re.search(r'class="nickname">(.*?)<', response.text)[1]
    dytk = re.search(r"dytk: '(.*?)'", response.text)[1]
  except (TypeError, IndexError):
    sys.stdout.write('Waring:输入的链接错误')
  except requests.exceptions:
    sys.stdout.write('Waring:链接错误')
  finally:
    return name, user_id, dytk


def make_dir(name):
  """
  建立文件夹
  :param name: 用户名称
  :return:
  """
  if not os.path.isdir(name):
    os.mkdir(name)
  else:
    pass


def get_all_video(user_id, max_cursor, dytk):
  """
  获取视频的地址
  :param user_id:
  :param max_cursor:
  :param dytk:
  :return:
  """
  url = "https://www.amemv.com/aweme/v1/aweme/post/?"
  params = {'user_id': user_id,
       'count': 21,
       'max_cursor': max_cursor,
       'dytk': dytk}
  try:
    response = requests.get(url=url, params=params, headers=headers)
    if response.status_code == 200:
      datas = response.json()
      for data in datas['aweme_list']:
        name = data.get('share_info').get('share_desc')
        url = data.get('video').get('play_addr').get('url_list')[0].replace('playwm', 'play')
        VIDEO_URLS.append([name, url])
      if datas['has_more'] == 1 and datas.get('max_cursor') != 0:
        global PAGE
        print(f'收集第{PAGE}页视频')
        PAGE += 1
        return get_all_video(user_id, datas.get('max_cursor'), dytk)
      else:
        print('收集完成')
        return VIDEO_URLS
    else:
      print('状态码:', response.status_code)
      return None
  except Exception as e:
    print('Waring:', e)
    return


async def download_video(index, name, video_name, url):
  """
  下载视频
  :param index:  视频id
  :param name:  用户名称
  :param video_name: 视频名称
  :param url:   下载url
  :return:
  """
  print(f'正在下载第{index}个视频:{video_name}')
  video_path = '{}/{}.mp4'.format(name, video_name)
  if not os.path.isfile(video_path):
    try:
      async with aiohttp.ClientSession() as session:
        async with session.get(url=url, headers=headers, ssl=False) as response:
          with open(video_path, 'wb') as f:
            while True:
              chunk = await response.content.read(1024)
              f.write(chunk)
              if not chunk:
                break
            print(f'下载完成第{index}个视频:{video_name}')
    except Exception as e:
      print('waring:download faild', video_name, e)
      return
  else:
    print('文件已存在')


def main():
  url = 'http://v.douyin.com/dEorkn/'
  name, user_id, dytk = get_info(url)
  if not (name, user_id, dytk):
    return
  make_dir(name)
  get_all_video(user_id, 0, dytk)
  print(f'{name}:总共有{len(VIDEO_URLS)}个视频')
  tasks = []
  for index, item in enumerate(VIDEO_URLS, 1):
    video_name = item[0]
    url = item[1]
    tasks.append(asyncio.ensure_future(download_video(index, name, video_name, url)))
  loop = asyncio.get_event_loop()
  loop.run_until_complete(asyncio.wait(tasks))
  loop.run_until_complete(asyncio.sleep(0))
  loop.close()
  print(f'{name}视频下载完成!')


if __name__ == '__main__':
  main()

python批量爬取下载抖音视频

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python根据给定文件返回文件名和扩展名的方法
Mar 27 Python
用python简单实现mysql数据同步到ElasticSearch的教程
May 30 Python
flask-socketio实现WebSocket的方法
Jul 31 Python
python得到电脑的开机时间方法
Oct 15 Python
pandas通过loc生成新的列方法
Nov 28 Python
Python面向对象思想与应用入门教程【类与对象】
Apr 12 Python
详解用Python实现自动化监控远程服务器
May 18 Python
使用python快速实现不同机器间文件夹共享方式
Dec 22 Python
Python参数传递机制传值和传引用原理详解
May 22 Python
Python多线程正确用法实例解析
May 30 Python
pycharm 2020.2.4 pip install Flask 报错 Error:Non-zero exit code的问题
Dec 04 Python
OpenCV-Python实现怀旧滤镜与连环画滤镜
Jun 09 Python
python批量下载抖音视频
Jun 17 #Python
Python基础学习之类与实例基本用法与注意事项详解
Jun 17 #Python
python文本数据处理学习笔记详解
Jun 17 #Python
python3+PyQt5 实现Rich文本的行编辑方法
Jun 17 #Python
Appium+python自动化之连接模拟器并启动淘宝APP(超详解)
Jun 17 #Python
python3+PyQt5 数据库编程--增删改实例
Jun 17 #Python
python3+PyQt5 创建多线程网络应用-TCP客户端和TCP服务器实例
Jun 17 #Python
You might like
使用adodb lite解决问题
2006/12/31 PHP
基于PHP字符串的比较函数strcmp()与strcasecmp()的使用详解
2013/05/15 PHP
php设计模式之观察者模式的应用详解
2013/05/21 PHP
Smarty中调用FCKeditor的方法
2014/10/27 PHP
laravel 解决crontab不执行的问题
2019/10/22 PHP
模拟用户操作Input元素,不会触发相应事件
2007/05/11 Javascript
原生Js实现按的数据源均分时间点幻灯片效果(已封装)
2010/12/28 Javascript
推荐10 个很棒的 jQuery 特效代码
2015/10/04 Javascript
浅析Javascript中bind()方法的使用与实现
2016/04/29 Javascript
浅析在javascript中创建对象的各种模式
2016/05/06 Javascript
JS定义类的六种方式详解
2016/05/12 Javascript
用js动态添加html元素,以及属性的简单实例
2016/07/19 Javascript
最基础的vue.js双向绑定操作
2017/08/23 Javascript
微信小程序开发实现的IP地址查询功能示例
2019/03/28 Javascript
ES6中异步对象Promise用法详解
2019/07/31 Javascript
JS实现图片幻灯片效果代码实例
2020/05/21 Javascript
微信小程序学习总结(一)项目创建与目录结构分析
2020/06/04 Javascript
[43:03]完美世界DOTA2联赛PWL S2 PXG vs Magma 第二场 11.21
2020/11/24 DOTA
python连接字符串的方法小结
2015/07/13 Python
python实现求最长回文子串长度
2018/01/22 Python
Python之批量创建文件的实例讲解
2018/05/10 Python
浅谈python中np.array的shape( ,)与( ,1)的区别
2018/06/04 Python
python将回车作为输入内容的实例
2018/06/23 Python
Python实现投影法分割图像示例(一)
2020/01/17 Python
CSS3制作ajax loader icon实现思路及代码
2013/08/25 HTML / CSS
关于HTML5语义标签的实践(blog页面)
2016/07/12 HTML / CSS
canvas学习总结三之绘制路径-线段
2019/01/31 HTML / CSS
iPhoneX安全区域(Safe Area)底部小黑条在微信小程序和H5的屏幕适配
2020/04/08 HTML / CSS
户籍证明的格式
2014/01/13 职场文书
公务员诚信承诺书
2014/05/26 职场文书
教书育人演讲稿
2014/09/11 职场文书
个人四风问题对照检查材料思想汇报
2014/10/06 职场文书
西岭雪山导游词
2015/02/06 职场文书
西游记读书笔记
2015/06/25 职场文书
matplotlib画混淆矩阵与正确率曲线的实例代码
2021/06/01 Python
在MySQL中你成功的避开了所有索引
2022/04/20 MySQL