Windows下安装Scrapy


Posted in Python onOctober 17, 2018

这几天正好有需求实现一个爬虫程序,想到爬虫程序立马就想到了python,python相关的爬虫资料好像也特别多。于是就决定用python来实现爬虫程序了,正好发现了python有一个开源库scrapy,正是用来实现爬虫框架的,于是果断采用这个实现。下面就先安装scrapy,决定在windows下面安装。

Scrapy简介

Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。

Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。

安装依赖

  • Scrapy安装依赖于以下几个Python库
  • lxml, an efficient XML and HTML parser
  • parsel, an HTML/XML data extraction library written on top of lxml,
  • w3lib, a multi-purpose helper for dealing with URLs and web page encodings
  • twisted, an asynchronous networking framework
  • cryptography and pyOpenSSL, to deal with various network-level security needs

我选择手动安装这些依赖

  • pip install lxml
  • pip install parsel
  • pip install w3lib
  • pip install twisted
  • pip install cryptography
  • pip install pyOpenSSL

其他的安装都很顺利,就是在安装twisted的时候报错了。

Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

于是下载离线的安装(下载自己的版本)
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下载到一个目录,然后用

pip install Twisted-17.9.0-cp36-cp36m-win32.whl

之后再用下面的命令安装就可以了

pip install Scrapy

在命令行中输入scrapy,出现如下界面,则表示安装成功

Windows下安装Scrapy

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
Python开发常用的一些开源Package分享
Feb 14 Python
从局部变量和全局变量开始全面解析Python中变量的作用域
Jun 16 Python
python中print()函数的“,”与java中System.out.print()函数中的“+”功能详解
Nov 24 Python
Python中使用支持向量机SVM实践
Dec 27 Python
对python csv模块配置分隔符和引用符详解
Dec 12 Python
Django为窗体加上防机器人的验证码功能过程解析
Aug 14 Python
Python实现打印实心和空心菱形
Nov 23 Python
python 读取数据库并绘图的实例
Dec 03 Python
tensorflow实现打印ckpt模型保存下的变量名称及变量值
Jan 04 Python
Python将字典转换为XML的方法
Aug 01 Python
jupyter notebook快速入门及使用详解
Nov 13 Python
在pycharm中使用pipenv创建虚拟环境和安装django的详细教程
Nov 30 Python
python高级特性和高阶函数及使用详解
Oct 17 #Python
基于python实现学生管理系统
Oct 17 #Python
python3.4控制用户输入与输出的方法
Oct 17 #Python
python学生信息管理系统(完整版)
Apr 05 #Python
python3的输入方式及多组输入方法
Oct 17 #Python
Python3.6使用tesseract-ocr的正确方法
Oct 17 #Python
python学生信息管理系统(初级版)
Oct 17 #Python
You might like
php数组函数序列之array_pop() - 删除数组中的最后一个元素
2011/11/07 PHP
模仿JQuery sortable效果 代码有错但值得看看
2009/11/05 Javascript
jquery实现图片渐变切换兼容ie6/Chrome/Firefox
2013/08/02 Javascript
一个JavaScript变量声明的知识点
2013/10/28 Javascript
JS 页面计时器示例代码
2013/10/28 Javascript
JavaScript实现随机替换图片的方法
2015/04/16 Javascript
javascript三元运算符用法实例
2015/04/16 Javascript
JS时间特效最常用的三款
2015/08/19 Javascript
jquery+css3实现会动的小圆圈效果
2016/01/27 Javascript
EXT中单击button按钮grid添加一行(光标位置可设置)的实例代码
2016/06/02 Javascript
基于Vuejs实现购物车功能
2016/08/02 Javascript
jquery结合html实现中英文页面切换
2016/11/29 Javascript
Vue 菜单栏点击切换单个class(高亮)的方法
2018/08/22 Javascript
angular4自定义表单控件[(ngModel)]的实现
2018/11/23 Javascript
微信小程序实现swiper切换卡内嵌滚动条不显示的方法示例
2018/12/20 Javascript
解决layui表格内文本超出隐藏的问题
2019/09/12 Javascript
js 实现watch监听数据变化的代码
2019/10/13 Javascript
[02:44]DOTA2英雄基础教程 钢背兽
2013/12/19 DOTA
Python多进程同步简单实现代码
2016/04/27 Python
解决Python安装后pip不能用的问题
2018/06/12 Python
python多个模块py文件的数据共享实例
2019/01/11 Python
Python使用sklearn实现的各种回归算法示例
2019/07/04 Python
如何为Python终端提供持久性历史记录
2019/09/03 Python
关于sys.stdout和print的区别详解
2019/12/05 Python
Django实现whoosh搜索引擎使用jieba分词
2020/04/08 Python
Python中的wordcloud库安装问题及解决方法
2020/05/27 Python
Tensorflow中批量读取数据的案列分析及TFRecord文件的打包与读取
2020/06/30 Python
有关pycharm登录github时有的时候会报错connection reset的问题
2020/09/15 Python
Html5新标签解释及用法
2012/02/17 HTML / CSS
韩都衣舍天猫官方旗舰店:天猫女装销售总冠军
2017/10/10 全球购物
捷克汽车配件和工具销售网站:TorriaCars
2018/02/26 全球购物
EJB timer的种类
2014/10/28 面试题
opencv实现图像平移效果
2021/03/24 Python
开业庆典答谢词
2014/01/18 职场文书
党员反邪教心得体会
2016/01/15 职场文书
Django框架中视图的用法
2022/06/10 Python