python爬虫用scrapy获取影片的实例分析


Posted in Python onNovember 23, 2020

我们平时生活的娱乐中,看电影是大部分小伙伴都喜欢的事情。周围的人总会有意无意的在谈论,有什么影片上映,好不好看之类的话题,没事的时候谈论电影是非常不错的话题。那么,一些好看的影片如果不去电影院的话,在其他地方看都会有大大小小的限制,今天小编就教大家用python中的scrapy获取影片的办法吧。

1. 创建项目

运行命令:

scrapy startproject myfrist(your_project_name)

python爬虫用scrapy获取影片的实例分析

文件说明: 名称 | 作用 --|-- scrapy.cfg | 项目的配置信息,主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中) items.py | 设置数据存储模板,用于结构化数据,如:Django的Model pipelines | 数据处理行为,如:一般结构化的数据持久化 settings.py | 配置文件,如:递归的层数、并发数,延迟下载等 spiders | 爬虫目录,如:创建文件,编写爬虫规则

注意:一般创建爬虫文件时,以网站域名命名

2 编写 spdier

在spiders目录中新建 daidu_spider.py 文件

2.1 注意

爬虫文件需要定义一个类,并继承scrapy.spiders.Spider

必须定义name,即爬虫名,如果没有name,会报错。因为源码中是这样定义的

2.2 编写内容

在这里可以告诉 scrapy 。要如何查找确切数据,这里必须要定义一些属性

name: 它定义了蜘蛛的唯一名称

allowed_domains: 它包含了蜘蛛抓取的基本URL;

start-urls: 蜘蛛开始爬行的URL列表;

parse(): 这是提取并解析刮下数据的方法;

下面的代码演示了蜘蛛代码的样子:

import scrapy
class DoubanSpider(scrapy.Spider):
  name = 'douban'
  allwed_url = 'douban.com'
  start_urls = [
    'https://movie.douban.com/top250/'
  ]
  def parse(self, response):
    movie_name = response.xpath("//div[@class='item']//a/span[1]/text()").extract()
    movie_core = response.xpath("//div[@class='star']/span[2]/text()").extract()
    yield {
      'movie_name':movie_name,
      'movie_core':movie_core
    }

到此这篇关于python爬虫用scrapy获取影片的实例分析的文章就介绍到这了,更多相关python爬虫如何用scrapy获取影片内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python中的hashlib和base64加密模块使用实例
Sep 02 Python
Python模拟三级菜单效果
Sep 11 Python
Python引用传值概念与用法实例小结
Oct 07 Python
pandas将DataFrame的列变成行索引的方法
Apr 10 Python
Python实现获取nginx服务器ip及流量统计信息功能示例
May 18 Python
Python实现FM算法解析
Jun 18 Python
对python中的控制条件、循环和跳出详解
Jun 24 Python
Python脚本利用adb进行手机控制的方法
Jul 08 Python
python tkinter窗口最大化的实现
Jul 15 Python
用Python爬取QQ音乐评论并制成词云图的实例
Aug 24 Python
Python实现自动打开电脑应用的示例代码
Apr 17 Python
Python实现一个简单的毕业生信息管理系统的示例代码
Jun 08 Python
python爬虫scrapy图书分类实例讲解
Nov 23 #Python
scrapy处理python爬虫调度详解
Nov 23 #Python
利用Python将多张图片合成视频的实现
Nov 23 #Python
Python系统公网私网流量监控实现流程
Nov 23 #Python
Python 调用 ES、Solr、Phoenix的示例代码
Nov 23 #Python
10个示例带你掌握python中的元组
Nov 23 #Python
详解anaconda安装步骤
Nov 23 #Python
You might like
PHP数据库操作之基于Mysqli的数据库操作类库
2014/04/19 PHP
php curl 获取https请求的2种方法
2015/04/27 PHP
PHP在线打包下载功能示例
2016/10/15 PHP
js 表单验证方法(实用)
2009/04/28 Javascript
prototype与jquery下Ajax实现的差别
2009/09/13 Javascript
Domino中运用jQuery读取视图内容的方法
2009/10/21 Javascript
jquery使用append(content)方法注意事项分享
2014/01/06 Javascript
微信分享的标题、缩略图、连接及描述设置方法
2014/10/14 Javascript
深入探究使JavaScript动画流畅的一些方法
2015/06/30 Javascript
分享我对JS插件开发的一些感想和心得
2016/02/04 Javascript
jQuery fancybox在ie浏览器下无法显示关闭按钮的解决办法
2016/02/19 Javascript
javascript基础语法——全面理解变量和标识符
2016/06/02 Javascript
JS获取IE版本号与HTML设置IE文档模式的方法
2016/10/09 Javascript
百度多文件异步上传控件webuploader基本用法解析
2016/11/07 Javascript
Angular获取手机验证码实现移动端登录注册功能
2017/05/17 Javascript
JavaScript数组、json对象、eval()函数用法实例分析
2019/02/21 Javascript
基于vue如何发布一个npm包的方法步骤
2019/05/15 Javascript
如何让微信小程序页面之间的通信不再变困难
2019/06/03 Javascript
Vue 动态组件components和v-once指令的实现
2019/08/30 Javascript
浅析Vue下的components模板使用及应用
2019/11/27 Javascript
Vuex实现数据共享的方法
2019/12/20 Javascript
Python基于动态规划算法计算单词距离
2015/07/25 Python
python2.7 mayavi 安装图文教程(推荐)
2017/06/22 Python
python3实现全角和半角字符转换的方法示例
2017/09/21 Python
用python处理图片实现图像中的像素访问
2018/05/04 Python
Python3.5文件修改操作实例分析
2019/05/01 Python
Html5 页面适配iPhoneX(就是那么简单)
2019/09/05 HTML / CSS
Alba Moda瑞士网上商店:独家意大利时尚女装销售
2016/11/28 全球购物
MCAKE蛋糕官方网站:一直都是巴黎的味道
2018/02/06 全球购物
天网面试题
2013/04/07 面试题
行政专员岗位职责
2014/01/02 职场文书
歌唱比赛获奖感言
2014/01/21 职场文书
医学生自我鉴定范文
2014/03/26 职场文书
大学生万能检讨书范例
2014/10/04 职场文书
2016年“5.12”护士节慰问信
2015/11/30 职场文书
跟班学习心得体会(共6篇)
2016/01/23 职场文书