Python 利用scrapy爬虫通过短短50行代码下载整站短视频


Posted in Python onOctober 29, 2018

近日,有朋友向我求助一件小事儿,他在一个短视频app上看到一个好玩儿的段子,想下载下来,可死活找不到下载的方法。这忙我得帮,少不得就抓包分析了一下这个app,找到了视频的下载链接,帮他解决了这个小问题。

因为这个事儿,勾起了我另一个念头,这不最近一直想把python爬虫方面的知识梳理梳理吗,干脆借机行事,正凑着短视频火热的势头,做一个短视频的爬虫好了,中间用到什么知识就理一理。

我喜欢把事情说得很直白,如果恰好有初入门的朋友想了解爬虫的技术,可以将就看看,或许对你的认识会有提升。如果有高手路过,最好能指点一二,本人不胜感激。

一、撕开爬虫的面纱——爬虫是什么,它能做什么

爬虫是什么

爬虫就是一段能够从互联网上高效获取数据的程序。

我们每天都在从互联网上获取数据。当打开浏览器访问百度的时候,我们就从百度的服务器获取数据,当拿起手机在线听歌的时候,我们就从某个app的服务器上获取数据。简单的归纳,这些过程都可以描述为:我们提交一个Request请求,服务器会返回一个Response数据,应用根据Response来渲染页面,给我们展示数据结果。

爬虫最核心的也是这个过程,提交Requests——〉接受Response。就这样,很简单,当我们在浏览器里打开一个页面,看到页面内容的时候,我们就可以说这个页面被我们采集到了。

只不过当我们真正进行数据爬取时,一般会需要采集大量的页面,这就需要提交许多的Requests,需要接受许多的Response。数量大了之后,就会涉及到一些比较复杂的处理,比如并发的,比如请求序列,比如去重,比如链接跟踪,比如数据存储,等等。于是,随着问题的延伸和扩展,爬虫就成为了一个相对独立的技术门类。

但它的本质就是对一系列网络请求和网络响应的处理。

爬虫能做什么

爬虫的作用和目的只有一个,获取网络数据。我们知道,互联网是个数据的海洋,大量的信息漂浮在其中,想把这些资源收归己用,爬虫是最常用的方式。特别是最近几年大树据挖掘技术和机器学习以及知识图谱等技术的兴盛,更是对数据提出了更大的需求。另外也有很多互联网创业公司,在起步初期自身积累数据较少的时候,也会通过爬虫快速获取数据起步。

二、python爬虫框架scrapy——爬虫开发的利器

如果你刚刚接触爬虫的概念,我建议你暂时不要使用scrapy框架。或者更宽泛的说,如果你刚刚接触某一个技术门类,我都不建议你直接使用框架,因为框架是对许多基础技术细节的高级抽象,如果你不了解底层实现原理就直接用框架多半会让你云里雾里迷迷糊糊。

在入门爬虫之初,看scrapy的文档,你会觉得“太复杂了”。当你使用urllib或者Requests开发一个python的爬虫脚本,并逐个去解决了请求头封装、访问并发、队列去重、数据清洗等等问题之后,再回过头来学习scrapy,你会觉得它如此简洁优美,它能节省你大量的时间,它会为一些常见的问题提供成熟的解决方案。

scrapy数据流程图

这张图是对scrapy框架的经典描述,一时看不懂没有关系,用一段时间再回来看。或者把本文读完再回来看。

Python 利用scrapy爬虫通过短短50行代码下载整站短视频

在一些书上会把爬虫的基本抓取流程概括为UR 2 IM,意思是数据爬取的过程是围绕URL、Request(请求)、Response(响应)、Item(数据项)、MoreUrl(更多的Url)展开的。上图的 绿色箭头 体现的正是这几个要素的流转过程。图中涉及的四个模块正是用于处理这几类对象的:

  • Spider模块:负责生成Request对象、解析Response对象、输出Item对象
  • Scheduler模块:负责对Request对象的调度
  • Downloader模块:负责发送Request请求,接收Response响应
  • ItemPipleline模块:负责数据的处理
  • scrapy Engine负责模块间的通信

各个模块和scrapy引擎之间可以添加一层或多层中间件,负责对出入该模块的UR 2 IM对象进行处理。

scrapy的安装

参考官方文档,不再赘述。官方文档:https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html

三、scrapy实战:50行代码爬取全站短视频

python的优雅之处在于能够让开发者专注于业务逻辑,花更少的时间在枯燥的代码编写调试上。scrapy无疑完美诠释了这一精神。

开发爬虫的一般步骤是:

  • 确定要爬取的数据(item)
  • 找到数据所在页面的url
  • 找到页面间的链接关系,确定如何跟踪(follow)页面

那么,我们一步一步来。

既然是使用scrapy框架,我们先创建项目:

scrapy startproject DFVideo

紧接着,我们创建一个爬虫:

scrapy genspider -t crawl DfVideoSpider eastday.com

这是我们发现在当前目录下已经自动生成了一个目录:DFVideo

目录下包括如图文件:

Python 利用scrapy爬虫通过短短50行代码下载整站短视频

spiders文件夹下,自动生成了名为DfVideoSpider.py的文件。

Python 利用scrapy爬虫通过短短50行代码下载整站短视频

爬虫项目创建之后,我们来确定需要爬取的数据。在items.py中编辑:

import scrapy
class DfvideoItem(scrapy.Item):
 # define the fields for your item here like:
 # name = scrapy.Field()
 video_url = scrapy.Field()#视频源url
 video_title = scrapy.Field()#视频标题
 video_local_path = scrapy.Field()#视频本地存储路径

接下来,我们需要确定视频源的url,这是很关键的一步。

现在许多的视频播放页面是把视频链接隐藏起来的,这就使得大家无法通过右键另存为,防止了视频别随意下载。

但是只要视频在页面上播放了,那么必然是要和视频源产生数据交互的,所以只要稍微抓下包就能够发现玄机。

这里我们使用fiddler抓包分析。

发现其视频播放页的链接类似于:video.eastday.com/a/180926221513827264568.html?index3lbt

视频源的数据链接类似于:mvpc.eastday.com/vyule/20180415/20180415213714776507147_1_06400360.mp4

有了这两个链接,工作就完成了大半:

在DfVideoSpider.py中编辑

# -*- coding: utf-8 -*-
import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose,Join
from DFVideo.items import DfvideoItem
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
import time
from os import path
import os

class DfvideospiderSpider(CrawlSpider):
 name = 'DfVideoSpider'
 allowed_domains = ['eastday.com']
 start_urls = ['http://video.eastday.com/']

 rules = (
  Rule(LinkExtractor(allow=r'video.eastday.com/a/\d+.html'),
    callback='parse_item', follow=True),
 )

 def parse_item(self, response):
  item = DfvideoItem()
  try:
   item["video_url"] = response.xpath('//input[@id="mp4Source"]/@value').extract()[0]
   item["video_title"] = response.xpath('//meta[@name="description"]/@content').extract()[0]
   #print(item)
   item["video_url"] = 'http:' + item['video_url']
   yield scrapy.Request(url=item['video_url'], meta=item, callback=self.parse_video)
  except:
   pass

 def parse_video(self, response):

  i = response.meta
  file_name = Join()([i['video_title'], '.mp4'])
  base_dir = path.join(path.curdir, 'VideoDownload')
  video_local_path = path.join(base_dir, file_name.replace('?', ''))
  i['video_local_path'] = video_local_path

  if not os.path.exists(base_dir):
   os.mkdir(base_dir)

  with open(video_local_path, "wb") as f:
   f.write(response.body)

  yield i

至此,一个简单但强大的爬虫便完成了。

如果你希望将视频的附加数据保存在数据库,可以在pipeline.py中进行相应的操作,比如存入mongodb中:

from scrapy import log
import pymongo
class DfvideoPipeline(object):
 def __init__(self):
  self.mongodb = pymongo.MongoClient(host='127.0.0.1', port=27017)
  self.db = self.mongodb["DongFang"]
  self.feed_set = self.db["video"]
  # self.comment_set=self.db[comment_set]
  self.feed_set.create_index("video_title", unique=1)
  # self.comment_set.create_index(comment_index,unique=1)
 def process_item(self, item, spider):
  try:
   self.feed_set.update({"video_title": item["video_title"]}, item, upsert=True)
  except:
   log.msg(message="dup key: {}".format(item["video_title"]), level=log.INFO)
  return item
 def on_close(self):
  self.mongodb.close()

当然,你需要在setting.py中将pipelines打开:

ITEM_PIPELINES = {
 'TouTiaoVideo.pipelines.ToutiaovideoPipeline': 300,
}

四、执行结果展示

视频文件:

Python 利用scrapy爬虫通过短短50行代码下载整站短视频

五、最后

以上所述是小编给大家介绍的Python 利用scrapy爬虫通过短短50行代码下载整站短视频,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
用Python编写一个国际象棋AI程序
Nov 28 Python
Python中使用md5sum检查目录中相同文件代码分享
Feb 02 Python
Python中利用Scipy包的SIFT方法进行图片识别的实例教程
Jun 03 Python
shelve  用来持久化任意的Python对象实例代码
Oct 12 Python
Python实现的将文件每一列写入列表功能示例【测试可用】
Mar 19 Python
Python标准库shutil用法实例详解
Aug 13 Python
Python3实现爬取简书首页文章标题和文章链接的方法【测试可用】
Dec 11 Python
Python常用爬虫代码总结方便查询
Feb 25 Python
python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)
Apr 18 Python
python输出决策树图形的例子
Aug 09 Python
Python容器类型公共方法总结
Aug 19 Python
python3美化表格数据输出结果的实现代码
Apr 14 Python
PyCharm设置护眼背景色的方法
Oct 29 #Python
pycharm恢复默认设置或者是替换pycharm的解释器实例
Oct 29 #Python
对Python subprocess.Popen子进程管道阻塞详解
Oct 29 #Python
[原创]Python入门教程1. 基本运算【四则运算、变量、math模块等】
Oct 28 #Python
pycharm 配置远程解释器的方法
Oct 28 #Python
解决每次打开pycharm直接进入项目的问题
Oct 28 #Python
Python OpenCV读取png图像转成jpg图像存储的方法
Oct 28 #Python
You might like
php fread读取文件注意事项
2016/09/24 PHP
PHP通过调用新浪API生成t.cn格式短网址链接的方法详解
2019/02/20 PHP
关于html+ashx开发中几个问题的解决方法
2011/07/18 Javascript
JS使用getComputedStyle()方法获取CSS属性值
2014/04/23 Javascript
js判断一个字符串是否包含一个子串的方法
2015/01/26 Javascript
javascript基于DOM实现权限选择实例分析
2015/05/14 Javascript
详解JavaScript中Date.UTC()方法的使用
2015/06/12 Javascript
利用CSS、JavaScript及Ajax实现图片预加载的三大方法
2017/01/22 Javascript
D3.js中强制异步文件读取同步的几种方法
2017/02/06 Javascript
原生JS改变透明度实现轮播效果
2017/03/24 Javascript
基于VuePress 轻量级静态网站生成器的实现方法
2018/04/17 Javascript
Node.js的Koa实现JWT用户认证方法
2018/05/05 Javascript
vue根据进入的路由进行原路返回的方法
2018/09/26 Javascript
antd中table展开行默认展示,且不需要前边的加号操作
2020/11/02 Javascript
VUE-ElementUI 自定义Loading图操作
2020/11/11 Javascript
python实现电子词典
2020/04/23 Python
python删除文件示例分享
2014/01/28 Python
Python对象的深拷贝和浅拷贝详解
2014/08/25 Python
Python实现变量数值交换及判断数组是否含有某个元素的方法
2017/09/18 Python
Python3多线程爬虫实例讲解代码
2018/01/05 Python
Python 数据处理库 pandas进阶教程
2018/04/21 Python
解决Python pandas plot输出图形中显示中文乱码问题
2018/12/12 Python
Python实现的爬取百度贴吧图片功能完整示例
2019/05/10 Python
Python中模块(Module)和包(Package)的区别详解
2019/08/07 Python
flask/django 动态查询表结构相同表名不同数据的Model实现方法
2019/08/29 Python
浅谈Python爬虫原理与数据抓取
2020/07/21 Python
CSS3中Animation属性的使用详解
2015/08/06 HTML / CSS
HTML5中原生的右键菜单创建方法
2016/06/28 HTML / CSS
澳大利亚领先的优质葡萄酒拍卖会:Langton’s Fine Wines
2019/03/24 全球购物
斯图尔特·韦茨曼鞋加拿大官网:Stuart Weitzman加拿大
2019/10/13 全球购物
什么是动态端口(Dynamic Ports)?动态端口的范围是多少?
2014/12/12 面试题
物业管理毕业生个人的求职信
2013/11/30 职场文书
大学军训自我鉴定
2013/12/15 职场文书
公司授权委托书
2014/04/04 职场文书
基层党员干部四风问题整改方向和措施
2014/09/25 职场文书
2015小学师德工作总结
2015/07/21 职场文书