python爬虫用scrapy获取影片的实例分析


Posted in Python onNovember 23, 2020

我们平时生活的娱乐中,看电影是大部分小伙伴都喜欢的事情。周围的人总会有意无意的在谈论,有什么影片上映,好不好看之类的话题,没事的时候谈论电影是非常不错的话题。那么,一些好看的影片如果不去电影院的话,在其他地方看都会有大大小小的限制,今天小编就教大家用python中的scrapy获取影片的办法吧。

1. 创建项目

运行命令:

scrapy startproject myfrist(your_project_name)

python爬虫用scrapy获取影片的实例分析

文件说明: 名称 | 作用 --|-- scrapy.cfg | 项目的配置信息,主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中) items.py | 设置数据存储模板,用于结构化数据,如:Django的Model pipelines | 数据处理行为,如:一般结构化的数据持久化 settings.py | 配置文件,如:递归的层数、并发数,延迟下载等 spiders | 爬虫目录,如:创建文件,编写爬虫规则

注意:一般创建爬虫文件时,以网站域名命名

2 编写 spdier

在spiders目录中新建 daidu_spider.py 文件

2.1 注意

爬虫文件需要定义一个类,并继承scrapy.spiders.Spider

必须定义name,即爬虫名,如果没有name,会报错。因为源码中是这样定义的

2.2 编写内容

在这里可以告诉 scrapy 。要如何查找确切数据,这里必须要定义一些属性

name: 它定义了蜘蛛的唯一名称

allowed_domains: 它包含了蜘蛛抓取的基本URL;

start-urls: 蜘蛛开始爬行的URL列表;

parse(): 这是提取并解析刮下数据的方法;

下面的代码演示了蜘蛛代码的样子:

import scrapy
class DoubanSpider(scrapy.Spider):
  name = 'douban'
  allwed_url = 'douban.com'
  start_urls = [
    'https://movie.douban.com/top250/'
  ]
  def parse(self, response):
    movie_name = response.xpath("//div[@class='item']//a/span[1]/text()").extract()
    movie_core = response.xpath("//div[@class='star']/span[2]/text()").extract()
    yield {
      'movie_name':movie_name,
      'movie_core':movie_core
    }

到此这篇关于python爬虫用scrapy获取影片的实例分析的文章就介绍到这了,更多相关python爬虫如何用scrapy获取影片内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python使用修饰器执行函数的参数检查功能示例
Sep 26 Python
简单了解什么是神经网络
Dec 23 Python
python实现人脸识别经典算法(一) 特征脸法
Mar 13 Python
python之pandas用法大全
Mar 13 Python
python 数字类型和字符串类型的相互转换实例
Jul 17 Python
Python基于分析Ajax请求实现抓取今日头条街拍图集功能示例
Jul 19 Python
TensorFlow Session会话控制&Variable变量详解
Jul 30 Python
浅谈python 导入模块和解决文件句柄找不到问题
Dec 15 Python
在Python中表示一个对象的方法
Jun 25 Python
在SQLite-Python中实现返回、查询中文字段的方法
Jul 17 Python
Python如何获取Win7,Win10系统缩放大小
Jan 10 Python
Python类中self参数用法详解
Feb 13 Python
python爬虫scrapy图书分类实例讲解
Nov 23 #Python
scrapy处理python爬虫调度详解
Nov 23 #Python
利用Python将多张图片合成视频的实现
Nov 23 #Python
Python系统公网私网流量监控实现流程
Nov 23 #Python
Python 调用 ES、Solr、Phoenix的示例代码
Nov 23 #Python
10个示例带你掌握python中的元组
Nov 23 #Python
详解anaconda安装步骤
Nov 23 #Python
You might like
Smarty的配置与高级缓存技术分享
2012/06/05 PHP
浅谈php正则表达式中的非贪婪模式匹配的使用
2014/11/25 PHP
php生成酷炫的四个字符验证码
2016/04/22 PHP
php 判断过去离现在几年的函数(实例代码)
2016/11/15 PHP
innerHTML 和 getElementsByName 在IE下面的bug 的解决
2010/04/09 Javascript
JavaScript 基础篇之运算符、语句(二)
2012/04/07 Javascript
jQuery实现Twitter的自动文字补齐特效
2014/11/28 Javascript
jquery滚动到顶部底部代码
2015/04/20 Javascript
jQuery实现tab选项卡效果的方法
2015/07/08 Javascript
jquery性能优化高级技巧
2015/08/24 Javascript
基于jQuery全屏焦点图左右切换插件responsiveslides
2015/09/07 Javascript
jQuery实现点击表格单元格就可以编辑内容的方法【测试可用】
2016/08/01 Javascript
基于jquery实现弹幕效果
2016/09/29 Javascript
Angular 2父子组件数据传递之@Input和@Output详解(下)
2017/07/05 Javascript
JavaScript使用递归和循环实现阶乘的实例代码
2018/08/28 Javascript
vue服务端渲染页面缓存和组件缓存的实例详解
2018/09/18 Javascript
Vue 重置组件到初始状态的方法示例
2018/10/10 Javascript
JavaScript实现的开关灯泡点击切换特效示例
2019/07/08 Javascript
vue实现员工信息录入功能
2020/06/11 Javascript
Python设计足球联赛赛程表程序的思路与简单实现示例
2016/06/28 Python
Python基于jieba库进行简单分词及词云功能实现方法
2018/06/16 Python
详解pandas中MultiIndex和对象实际索引不一致问题
2019/07/23 Python
Python数据库小程序源代码
2019/09/15 Python
Python爬虫实现使用beautifulSoup4爬取名言网功能案例
2019/09/15 Python
django框架ModelForm组件用法详解
2019/12/11 Python
HTML5 canvas基本绘图之绘制曲线
2016/06/27 HTML / CSS
施工安全协议书
2013/12/11 职场文书
幼儿园新学期寄语
2014/01/18 职场文书
学生会个人自荐书范文
2014/02/12 职场文书
艺术学院毕业生自我评价
2014/03/02 职场文书
公司办公室岗位职责
2014/03/19 职场文书
学校师德师风整改措施
2014/10/27 职场文书
学习普通话的体会
2014/11/07 职场文书
2015年新学期寄语
2015/02/26 职场文书
2015年先进个人自荐书
2015/03/24 职场文书
《家》读后感:万惜拯救,冷暖自知
2019/09/25 职场文书