Windows下安装Scrapy


Posted in Python onOctober 17, 2018

这几天正好有需求实现一个爬虫程序,想到爬虫程序立马就想到了python,python相关的爬虫资料好像也特别多。于是就决定用python来实现爬虫程序了,正好发现了python有一个开源库scrapy,正是用来实现爬虫框架的,于是果断采用这个实现。下面就先安装scrapy,决定在windows下面安装。

Scrapy简介

Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。

Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。

安装依赖

  • Scrapy安装依赖于以下几个Python库
  • lxml, an efficient XML and HTML parser
  • parsel, an HTML/XML data extraction library written on top of lxml,
  • w3lib, a multi-purpose helper for dealing with URLs and web page encodings
  • twisted, an asynchronous networking framework
  • cryptography and pyOpenSSL, to deal with various network-level security needs

我选择手动安装这些依赖

  • pip install lxml
  • pip install parsel
  • pip install w3lib
  • pip install twisted
  • pip install cryptography
  • pip install pyOpenSSL

其他的安装都很顺利,就是在安装twisted的时候报错了。

Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

于是下载离线的安装(下载自己的版本)
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下载到一个目录,然后用

pip install Twisted-17.9.0-cp36-cp36m-win32.whl

之后再用下面的命令安装就可以了

pip install Scrapy

在命令行中输入scrapy,出现如下界面,则表示安装成功

Windows下安装Scrapy

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
Python的Django框架中TEMPLATES项的设置教程
May 29 Python
python实现在windows服务中新建进程的方法
Jun 30 Python
python 搜索大文件的实例代码
Jul 08 Python
python Pandas库基础分析之时间序列的处理详解
Jul 13 Python
Python基于OpenCV实现人脸检测并保存
Jul 23 Python
Python序列类型的打包和解包实例
Dec 21 Python
Django自定义全局403、404、500错误页面的示例代码
Mar 08 Python
django使用JWT保存用户登录信息
Apr 22 Python
Python基于pandas绘制散点图矩阵代码实例
Jun 04 Python
Pycharm无法打开双击没反应的问题及解决方案
Aug 17 Python
python搜索算法原理及实例讲解
Nov 18 Python
Python实现曲线拟合的最小二乘法
Feb 19 Python
python高级特性和高阶函数及使用详解
Oct 17 #Python
基于python实现学生管理系统
Oct 17 #Python
python3.4控制用户输入与输出的方法
Oct 17 #Python
python学生信息管理系统(完整版)
Apr 05 #Python
python3的输入方式及多组输入方法
Oct 17 #Python
Python3.6使用tesseract-ocr的正确方法
Oct 17 #Python
python学生信息管理系统(初级版)
Oct 17 #Python
You might like
通过PHP CLI实现简单的数据库实时监控调度
2009/07/01 PHP
php判断两个日期之间相差多少个月份的方法
2015/06/18 PHP
PHP文件操作实例总结【文件上传、下载、分页】
2018/12/08 PHP
php的instanceof和判断闭包Closure操作示例
2020/01/26 PHP
在Node.js应用中使用Redis的方法简介
2015/06/24 Javascript
javascript实现网页字符定位的方法
2015/07/14 Javascript
js实现图片缓慢放大缩小效果
2016/08/02 Javascript
javascript实现二叉树的代码
2017/06/08 Javascript
编写React组件项目实践分析
2018/03/04 Javascript
H5+C3+JS实现五子棋游戏(AI篇)
2020/05/28 Javascript
详解vue 项目白屏解决方案
2018/10/31 Javascript
详解jQuery如何实现模糊搜索
2019/05/10 jQuery
Vue formData实现图片上传
2019/08/20 Javascript
Vue中使用better-scroll实现轮播图组件
2020/03/07 Javascript
[12:21]VICI vs TNC (BO3)
2018/06/07 DOTA
[44:40]KG vs LGD 2019国际邀请赛小组赛 BO2 第一场 8.15
2019/08/16 DOTA
[41:52]DOTA2-DPC中国联赛 正赛 CDEC vs Dynasty BO3 第二场 2月22日
2021/03/11 DOTA
实例说明Python中比较运算符的使用
2015/05/13 Python
利用Django内置的认证视图实现用户密码重置功能详解
2017/11/24 Python
Python科学计算包numpy用法实例详解
2018/02/08 Python
11个Python Pandas小技巧让你的工作更高效(附代码实例)
2019/04/30 Python
Python函数和模块的使用总结
2019/05/20 Python
Python:二维列表下标互换方式(矩阵转置)
2019/12/02 Python
使用Django清空数据库并重新生成
2020/04/03 Python
解决numpy矩阵相减出现的负值自动转正值的问题
2020/06/03 Python
HTML5引入的新数组TypedArray介绍
2012/12/24 HTML / CSS
巴西最大的家电和百货零售商:Casas Bahia
2016/11/22 全球购物
澳大利亚男士西服品牌:M.J.Bale
2018/02/06 全球购物
美国折扣宠物药房:Total Pet Supply
2018/05/27 全球购物
韩国最大的购物网站:Gmarket
2019/06/20 全球购物
.net开发工程师面试题
2014/02/25 面试题
会计专业自荐信范文
2013/12/02 职场文书
餐饮业的创业计划书范文
2013/12/26 职场文书
简历中个人自我评价分享
2014/03/15 职场文书
2014最新毕业证代领委托书
2014/09/26 职场文书
队列队形口号
2015/12/25 职场文书