Windows下安装Scrapy


Posted in Python onOctober 17, 2018

这几天正好有需求实现一个爬虫程序,想到爬虫程序立马就想到了python,python相关的爬虫资料好像也特别多。于是就决定用python来实现爬虫程序了,正好发现了python有一个开源库scrapy,正是用来实现爬虫框架的,于是果断采用这个实现。下面就先安装scrapy,决定在windows下面安装。

Scrapy简介

Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。

Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。

安装依赖

  • Scrapy安装依赖于以下几个Python库
  • lxml, an efficient XML and HTML parser
  • parsel, an HTML/XML data extraction library written on top of lxml,
  • w3lib, a multi-purpose helper for dealing with URLs and web page encodings
  • twisted, an asynchronous networking framework
  • cryptography and pyOpenSSL, to deal with various network-level security needs

我选择手动安装这些依赖

  • pip install lxml
  • pip install parsel
  • pip install w3lib
  • pip install twisted
  • pip install cryptography
  • pip install pyOpenSSL

其他的安装都很顺利,就是在安装twisted的时候报错了。

Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

于是下载离线的安装(下载自己的版本)
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下载到一个目录,然后用

pip install Twisted-17.9.0-cp36-cp36m-win32.whl

之后再用下面的命令安装就可以了

pip install Scrapy

在命令行中输入scrapy,出现如下界面,则表示安装成功

Windows下安装Scrapy

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
使用Python实现一个简单的项目监控
Mar 31 Python
Python实现的数据结构与算法之快速排序详解
Apr 22 Python
Python素数检测实例分析
Jun 15 Python
【Python】Python的urllib模块、urllib2模块批量进行网页下载文件
Nov 19 Python
详解python3实现的web端json通信协议
Dec 29 Python
python获取当前用户的主目录路径方法(推荐)
Jan 12 Python
python使用mysql的两种使用方式
Mar 07 Python
python实现年会抽奖程序
Jan 22 Python
python pexpect ssh 远程登录服务器的方法
Feb 14 Python
Python 调用 Outlook 发送邮件过程解析
Aug 08 Python
Python操作Mongodb数据库的方法小结
Sep 10 Python
Pytorch使用PIL和Numpy将单张图片转为Pytorch张量方式
May 25 Python
python高级特性和高阶函数及使用详解
Oct 17 #Python
基于python实现学生管理系统
Oct 17 #Python
python3.4控制用户输入与输出的方法
Oct 17 #Python
python学生信息管理系统(完整版)
Apr 05 #Python
python3的输入方式及多组输入方法
Oct 17 #Python
Python3.6使用tesseract-ocr的正确方法
Oct 17 #Python
python学生信息管理系统(初级版)
Oct 17 #Python
You might like
Zerg兵种介绍
2020/03/14 星际争霸
mysql查找删除重复数据并只保留一条实例详解
2016/09/24 PHP
jquery ui dialog ie8出现滚动条的解决方法
2010/12/06 Javascript
纯JavaScript实现的兼容各浏览器的添加和移除事件封装
2015/03/28 Javascript
javascript中in运算符用法分析
2015/04/28 Javascript
jQuery层动画定位滑动效果的方法
2015/04/30 Javascript
JavaScript实现的类字典插入或更新方法实例
2015/07/10 Javascript
JQuery.validate在ie8下不支持的快速解决方法
2016/05/18 Javascript
JavaScript中push(),join() 函数 实例详解
2016/09/06 Javascript
探究JavaScript中的五种事件处理程序方式
2016/12/07 Javascript
Vue 父子组件、组件间通信
2017/03/08 Javascript
JavaScript严格模式下关于this的几种指向详解
2017/07/12 Javascript
Vue中控制v-for循环次数的实现方法
2018/09/26 Javascript
原生JS检测CSS3动画是否结束的方法详解
2019/01/27 Javascript
详解NodeJS Https HSM双向认证实现
2019/03/12 NodeJs
Vue Components 数字键盘的实现
2019/09/18 Javascript
详解Vue之事件处理
2020/07/10 Javascript
[02:42]决战东方!DOTA2亚洲邀请赛重启荣耀之争
2017/03/17 DOTA
[01:09]模型精美,特效酷炫!TI9不朽宝藏Ⅰ鉴赏
2019/05/10 DOTA
[04:10]2018年度CS GO玩家最喜爱的主播-完美盛典
2018/12/16 DOTA
Python使用urllib模块的urlopen超时问题解决方法
2014/11/08 Python
用Python的pandas框架操作Excel文件中的数据教程
2015/03/31 Python
Python2/3中urllib库的一些常见用法
2017/12/19 Python
如何利用python制作时间戳转换工具详解
2018/09/12 Python
Python关于excel和shp的使用在matplotlib
2019/01/03 Python
Python面向对象之类和实例用法分析
2019/06/08 Python
对django layer弹窗组件的使用详解
2019/08/31 Python
CSS3 渐变(Gradients)之CSS3 线性渐变
2016/07/08 HTML / CSS
预订从美国飞往印度的机票:MyTicketsToIndia
2017/05/19 全球购物
J.Crew官网:美国知名休闲服装品牌
2017/05/19 全球购物
牦牛毛户外探险服装:Kora
2019/02/08 全球购物
进修护士自我鉴定
2013/10/14 职场文书
文明青少年标兵事迹材料
2014/01/28 职场文书
带薪年假请假条
2014/02/04 职场文书
新教师培训方案
2014/06/08 职场文书
董事长新年致辞
2015/07/29 职场文书