python爬虫用scrapy获取影片的实例分析


Posted in Python onNovember 23, 2020

我们平时生活的娱乐中,看电影是大部分小伙伴都喜欢的事情。周围的人总会有意无意的在谈论,有什么影片上映,好不好看之类的话题,没事的时候谈论电影是非常不错的话题。那么,一些好看的影片如果不去电影院的话,在其他地方看都会有大大小小的限制,今天小编就教大家用python中的scrapy获取影片的办法吧。

1. 创建项目

运行命令:

scrapy startproject myfrist(your_project_name)

python爬虫用scrapy获取影片的实例分析

文件说明: 名称 | 作用 --|-- scrapy.cfg | 项目的配置信息,主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中) items.py | 设置数据存储模板,用于结构化数据,如:Django的Model pipelines | 数据处理行为,如:一般结构化的数据持久化 settings.py | 配置文件,如:递归的层数、并发数,延迟下载等 spiders | 爬虫目录,如:创建文件,编写爬虫规则

注意:一般创建爬虫文件时,以网站域名命名

2 编写 spdier

在spiders目录中新建 daidu_spider.py 文件

2.1 注意

爬虫文件需要定义一个类,并继承scrapy.spiders.Spider

必须定义name,即爬虫名,如果没有name,会报错。因为源码中是这样定义的

2.2 编写内容

在这里可以告诉 scrapy 。要如何查找确切数据,这里必须要定义一些属性

name: 它定义了蜘蛛的唯一名称

allowed_domains: 它包含了蜘蛛抓取的基本URL;

start-urls: 蜘蛛开始爬行的URL列表;

parse(): 这是提取并解析刮下数据的方法;

下面的代码演示了蜘蛛代码的样子:

import scrapy
class DoubanSpider(scrapy.Spider):
  name = 'douban'
  allwed_url = 'douban.com'
  start_urls = [
    'https://movie.douban.com/top250/'
  ]
  def parse(self, response):
    movie_name = response.xpath("//div[@class='item']//a/span[1]/text()").extract()
    movie_core = response.xpath("//div[@class='star']/span[2]/text()").extract()
    yield {
      'movie_name':movie_name,
      'movie_core':movie_core
    }

到此这篇关于python爬虫用scrapy获取影片的实例分析的文章就介绍到这了,更多相关python爬虫如何用scrapy获取影片内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
用python代码做configure文件
Jul 20 Python
Python中多线程的创建及基本调用方法
Jul 08 Python
python中将一个全部为int的list 转化为str的list方法
Apr 09 Python
numpy中以文本的方式存储以及读取数据方法
Jun 04 Python
python3 中文乱码与默认编码格式设定方法
Oct 31 Python
Python安装Flask环境及简单应用示例
May 03 Python
如何利用Python模拟GitHub登录详解
Jul 15 Python
python 哈希表实现简单python字典代码实例
Sep 27 Python
Python三元运算与lambda表达式实例解析
Nov 30 Python
python3 配置logging日志类的操作
Apr 08 Python
keras实现调用自己训练的模型,并去掉全连接层
Jun 09 Python
Anaconda安装pytorch及配置PyCharm 2021环境
Jun 04 Python
python爬虫scrapy图书分类实例讲解
Nov 23 #Python
scrapy处理python爬虫调度详解
Nov 23 #Python
利用Python将多张图片合成视频的实现
Nov 23 #Python
Python系统公网私网流量监控实现流程
Nov 23 #Python
Python 调用 ES、Solr、Phoenix的示例代码
Nov 23 #Python
10个示例带你掌握python中的元组
Nov 23 #Python
详解anaconda安装步骤
Nov 23 #Python
You might like
Access数据库导入Mysql的方法之一
2006/10/09 PHP
PHP 中的批处理的实现
2007/06/14 PHP
php实现字符串翻转的方法
2015/03/27 PHP
php如何控制用户对图片的访问 PHP禁止图片盗链
2016/03/25 PHP
php+iframe 实现上传文件功能示例
2020/03/04 PHP
锋利的jQuery 要点归纳(一) jQuery选择器
2010/03/21 Javascript
基于jquery的blockui插件显示弹出层
2011/04/14 Javascript
jquery ajax同步异步的执行最终解决方案
2013/04/26 Javascript
jquery插件之定时查询待处理任务数量
2014/05/01 Javascript
理解javascript中Map代替循环
2016/02/26 Javascript
BootstrapTable+KnockoutJS自定义T4模板快速生成增删改查页面
2016/08/01 Javascript
js实现简单的碰壁反弹效果
2016/08/30 Javascript
jQuery Easyui datagrid行内实现【添加】、【编辑】、【上移】、【下移】
2016/12/19 Javascript
使用jquery datatable和bootsrap创建表格实例代码
2017/03/17 Javascript
jQuery实现的事件绑定功能基本示例
2017/10/11 jQuery
vue移动端实现红包雨效果
2020/06/23 Javascript
webpack4 处理SCSS的方法示例
2018/09/03 Javascript
Layui 带多选框表格监听事件以及按钮自动点击写法实例
2019/09/02 Javascript
Python中使用logging模块打印log日志详解
2015/04/05 Python
Python中Django框架利用url来控制登录的方法
2015/07/25 Python
Python模拟随机游走图形效果示例
2018/02/06 Python
Django跨域请求问题的解决方法示例
2018/06/16 Python
python如何统计代码运行的时长
2019/07/24 Python
python使用requests.session模拟登录
2019/08/09 Python
python ctypes库2_指定参数类型和返回类型详解
2019/11/19 Python
django使用channels实现通信的示例
2020/10/19 Python
英国领先的在线旅游和休闲零售商:lastminute.com
2019/01/23 全球购物
Magee 1866官网:Donegal粗花呢外套和大衣专家
2019/11/01 全球购物
英国比较机场停车场网站:Airport Parking Essentials
2019/12/01 全球购物
活动总结的格式
2014/05/07 职场文书
不错的求职信范文
2014/07/20 职场文书
党的群众路线剖析材料
2014/10/09 职场文书
中国文明网2015年“向国旗敬礼”活动网上签名寄语
2015/09/24 职场文书
2019年中学生的思想品德评语集锦
2019/12/19 职场文书
PHP使用非对称加密算法RSA
2021/04/21 PHP
python基础之文件操作
2021/10/24 Python