python爬虫用scrapy获取影片的实例分析


Posted in Python onNovember 23, 2020

我们平时生活的娱乐中,看电影是大部分小伙伴都喜欢的事情。周围的人总会有意无意的在谈论,有什么影片上映,好不好看之类的话题,没事的时候谈论电影是非常不错的话题。那么,一些好看的影片如果不去电影院的话,在其他地方看都会有大大小小的限制,今天小编就教大家用python中的scrapy获取影片的办法吧。

1. 创建项目

运行命令:

scrapy startproject myfrist(your_project_name)

python爬虫用scrapy获取影片的实例分析

文件说明: 名称 | 作用 --|-- scrapy.cfg | 项目的配置信息,主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中) items.py | 设置数据存储模板,用于结构化数据,如:Django的Model pipelines | 数据处理行为,如:一般结构化的数据持久化 settings.py | 配置文件,如:递归的层数、并发数,延迟下载等 spiders | 爬虫目录,如:创建文件,编写爬虫规则

注意:一般创建爬虫文件时,以网站域名命名

2 编写 spdier

在spiders目录中新建 daidu_spider.py 文件

2.1 注意

爬虫文件需要定义一个类,并继承scrapy.spiders.Spider

必须定义name,即爬虫名,如果没有name,会报错。因为源码中是这样定义的

2.2 编写内容

在这里可以告诉 scrapy 。要如何查找确切数据,这里必须要定义一些属性

name: 它定义了蜘蛛的唯一名称

allowed_domains: 它包含了蜘蛛抓取的基本URL;

start-urls: 蜘蛛开始爬行的URL列表;

parse(): 这是提取并解析刮下数据的方法;

下面的代码演示了蜘蛛代码的样子:

import scrapy
class DoubanSpider(scrapy.Spider):
  name = 'douban'
  allwed_url = 'douban.com'
  start_urls = [
    'https://movie.douban.com/top250/'
  ]
  def parse(self, response):
    movie_name = response.xpath("//div[@class='item']//a/span[1]/text()").extract()
    movie_core = response.xpath("//div[@class='star']/span[2]/text()").extract()
    yield {
      'movie_name':movie_name,
      'movie_core':movie_core
    }

到此这篇关于python爬虫用scrapy获取影片的实例分析的文章就介绍到这了,更多相关python爬虫如何用scrapy获取影片内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python修改操作系统时间的方法
May 18 Python
Python 基于Twisted框架的文件夹网络传输源码
Aug 28 Python
简单谈谈Python中的几种常见的数据类型
Feb 10 Python
Python实现的人工神经网络算法示例【基于反向传播算法】
Nov 11 Python
详解python使用Nginx和uWSGI来运行Python应用
Jan 09 Python
python中reader的next用法
Jul 24 Python
Django获取应用下的所有models的例子
Aug 30 Python
django从后台返回html代码的实例
Mar 11 Python
Python使用xlrd实现读取合并单元格
Jul 09 Python
python爬虫看看虎牙女主播中谁最“顶”步骤详解
Dec 01 Python
python中@property的作用和getter setter的解释
Dec 22 Python
python 逐步回归算法
Apr 06 Python
python爬虫scrapy图书分类实例讲解
Nov 23 #Python
scrapy处理python爬虫调度详解
Nov 23 #Python
利用Python将多张图片合成视频的实现
Nov 23 #Python
Python系统公网私网流量监控实现流程
Nov 23 #Python
Python 调用 ES、Solr、Phoenix的示例代码
Nov 23 #Python
10个示例带你掌握python中的元组
Nov 23 #Python
详解anaconda安装步骤
Nov 23 #Python
You might like
php正则校验用户名介绍
2008/07/19 PHP
PHP十六进制颜色随机生成器功能示例
2017/07/24 PHP
告诉大家什么是JSON
2008/06/10 Javascript
JavaScript 利用StringBuffer类提升+=拼接字符串效率
2009/11/24 Javascript
window.open以post方式将内容提交到新窗口
2012/12/26 Javascript
js动态往表格的td中添加图片并注册事件
2014/06/12 Javascript
js实现图片切换(动画版)
2016/12/25 Javascript
layui表格实现代码
2017/05/20 Javascript
jQuery中each循环的跳出和结束实例
2017/08/16 jQuery
2种简单的js倒计时方式
2017/10/20 Javascript
angularjs实现时间轴效果的示例代码
2017/11/29 Javascript
Python简单读取json文件功能示例
2017/11/30 Python
Python爬虫爬取一个网页上的图片地址实例代码
2018/01/16 Python
python实现一个函数版的名片管理系统过程解析
2019/08/27 Python
Python常用数据类型之间的转换总结
2019/09/06 Python
python 微信好友特征数据分析及可视化
2020/01/07 Python
Python类继承和多态原理解析
2020/02/05 Python
django 数据库返回queryset实现封装为字典
2020/05/19 Python
pycharm 实现本地写代码,服务器运行的操作
2020/06/08 Python
python time()的实例用法
2020/11/03 Python
Jupyter Notebook添加代码自动补全功能的实现
2021/01/07 Python
pycharm 使用anaconda为默认环境的操作
2021/02/05 Python
英国领先的葡萄酒专家:Majestic Wine
2017/05/30 全球购物
幼儿园教师请假制度
2014/01/16 职场文书
优秀通讯员事迹材料
2014/01/28 职场文书
学生宿舍管理制度
2014/01/30 职场文书
珠宝的促销活动方案
2014/08/31 职场文书
法定代表人身份证明书
2014/09/10 职场文书
酒店财务经理岗位职责
2015/04/08 职场文书
2015暑期社会实践通讯稿
2015/07/18 职场文书
网吧员工管理制度
2015/08/05 职场文书
OpenCV-Python实现轮廓的特征值
2021/06/09 Python
go语言使用Casbin实现角色的权限控制
2021/06/26 Golang
Python+tkinter实现高清图片保存
2022/03/13 Python
Python&Matlab实现灰狼优化算法的示例代码
2022/03/21 Python
剑指Offer之Java算法习题精讲二叉树专项训练
2022/03/21 Java/Android