Windows下安装Scrapy


Posted in Python onOctober 17, 2018

这几天正好有需求实现一个爬虫程序,想到爬虫程序立马就想到了python,python相关的爬虫资料好像也特别多。于是就决定用python来实现爬虫程序了,正好发现了python有一个开源库scrapy,正是用来实现爬虫框架的,于是果断采用这个实现。下面就先安装scrapy,决定在windows下面安装。

Scrapy简介

Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。

Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。

安装依赖

  • Scrapy安装依赖于以下几个Python库
  • lxml, an efficient XML and HTML parser
  • parsel, an HTML/XML data extraction library written on top of lxml,
  • w3lib, a multi-purpose helper for dealing with URLs and web page encodings
  • twisted, an asynchronous networking framework
  • cryptography and pyOpenSSL, to deal with various network-level security needs

我选择手动安装这些依赖

  • pip install lxml
  • pip install parsel
  • pip install w3lib
  • pip install twisted
  • pip install cryptography
  • pip install pyOpenSSL

其他的安装都很顺利,就是在安装twisted的时候报错了。

Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

于是下载离线的安装(下载自己的版本)
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下载到一个目录,然后用

pip install Twisted-17.9.0-cp36-cp36m-win32.whl

之后再用下面的命令安装就可以了

pip install Scrapy

在命令行中输入scrapy,出现如下界面,则表示安装成功

Windows下安装Scrapy

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
Python引用模块和查找模块路径
Mar 17 Python
python 读取txt,json和hdf5文件的实例
Jun 05 Python
解决Python3 被PHP程序调用执行返回乱码的问题
Feb 16 Python
Python实现Selenium自动化Page模式
Jul 14 Python
Python Pandas 如何shuffle(打乱)数据
Jul 30 Python
PyCharm 2019.3发布增加了新功能一览
Dec 08 Python
关于ResNeXt网络的pytorch实现
Jan 14 Python
python实现超级玛丽游戏
Mar 18 Python
python des,aes,rsa加解密的实现
Jan 16 Python
使用Python爬虫爬取小红书完完整整的全过程
Jan 19 Python
PyQt QMainWindow的使用示例
Mar 24 Python
Python语法学习之进程的创建与常用方法详解
Apr 08 Python
python高级特性和高阶函数及使用详解
Oct 17 #Python
基于python实现学生管理系统
Oct 17 #Python
python3.4控制用户输入与输出的方法
Oct 17 #Python
python学生信息管理系统(完整版)
Apr 05 #Python
python3的输入方式及多组输入方法
Oct 17 #Python
Python3.6使用tesseract-ocr的正确方法
Oct 17 #Python
python学生信息管理系统(初级版)
Oct 17 #Python
You might like
PHP在获取指定目录下的目录,在获取的目录下面再创建文件,多平台
2011/08/03 PHP
PHP字符串长度计算 - strlen()函数使用介绍
2013/10/15 PHP
php根据身份证号码计算年龄的实例代码
2014/01/18 PHP
PHP的error_reporting错误级别变量对照表
2014/07/08 PHP
php简单定时执行任务的实现方法
2015/02/23 PHP
php验证码生成器
2017/05/24 PHP
thinkphp实现附件上传功能
2017/05/26 PHP
php微信扫码支付 php公众号支付
2019/03/24 PHP
做网页的一些技巧
2007/02/01 Javascript
js form 验证函数 当前比较流行的错误提示
2009/06/23 Javascript
Javascript 键盘keyCode键码值表
2009/12/24 Javascript
javascript 事件查询综合 推荐收藏
2010/03/10 Javascript
jQuery中cookie插件用法实例分析
2015/12/04 Javascript
javascript的几种继承方法介绍
2016/03/22 Javascript
jquery插件uploadify多图上传功能实现代码
2016/08/12 Javascript
js实现截图保存图片功能的代码示例
2017/02/16 Javascript
vue如何从接口请求数据
2017/06/22 Javascript
Node.js利用断言模块assert进行单元测试的方法
2017/09/28 Javascript
Vue.js 图标选择组件实践详解
2018/12/03 Javascript
为什么要使用Vuex的介绍
2019/01/19 Javascript
JQuery样式操作、click事件以及索引值-选项卡应用示例
2019/05/14 jQuery
JavaScript对象属性操作实例解析
2020/02/04 Javascript
pydev使用wxpython找不到路径的解决方法
2013/02/10 Python
python文件读写并使用mysql批量插入示例分享(python操作mysql)
2014/02/17 Python
在Python中操作字符串之replace()方法的使用
2015/05/19 Python
python制作爬虫爬取京东商品评论教程
2016/12/16 Python
python爬虫 使用真实浏览器打开网页的两种方法总结
2018/04/21 Python
python使用for循环计算0-100的整数的和方法
2019/02/01 Python
Python实现将字符串的首字母变为大写,其余都变为小写的方法
2019/06/11 Python
pandas取出重复数据的方法
2019/07/04 Python
html5指南-3.如何实现html元素拖拽功能
2013/01/07 HTML / CSS
html5中JavaScript removeChild 删除所有节点
2014/05/16 HTML / CSS
简述安装Slackware Linux系统的过程
2012/01/12 面试题
自主招生教师推荐信
2014/05/10 职场文书
旷课检讨书范文
2015/01/27 职场文书
八年级作文之友情
2019/11/25 职场文书