零基础写python爬虫之爬虫框架Scrapy安装配置


Posted in Python onNovember 06, 2014

前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识,
用来解决简单的贴吧下载,绩点运算自然不在话下。
不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点。
于是乎,爬虫框架Scrapy就这样出场了!
Scrapy = Scrach+Python,Scrach这个单词是抓取的意思,

Scrapy的官网地址:点我点我。

那么下面来简单的演示一下Scrapy的安装流程。
具体流程参照:https://3water.com/article/48607.htm
友情提醒:一定要按照Python的版本下载,要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。

1.安装Python(建议32位)

建议安装Python2.7.x,3.x貌似还不支持。
安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。
在cmd中输入python如果出现版本信息说明配置完毕。

2.安装lxml

lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。点击这里选择对应的Python版本安装。

3.安装setuptools

用来安装egg文件,点击这里下载python2.7的对应版本的setuptools。

4.安装zope.interface

可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击这里下载。

5.安装Twisted

Twisted是用Python实现的基于事件驱动的网络引擎框架,点击这里下载。

6.安装pyOpenSSL

pyOpenSSL是Python的OpenSSL接口,点击这里下载。

7.安装win32py

提供win32api,点击这里下载

8.安装Scrapy

终于到了激动人心的时候了!安装了那么多小部件之后终于轮到主角登场。
直接在cmd中输入easy_install scrapy回车即可。

9.检查安装

打开一个cmd窗口,在任意位置执行scrapy命令,得到下列页面,表示环境配置成功。

零基础写python爬虫之爬虫框架Scrapy安装配置

Python 相关文章推荐
可用于监控 mysql Master Slave 状态的python代码
Feb 10 Python
下载给定网页上图片的方法
Feb 18 Python
Python使用Supervisor来管理进程的方法
May 28 Python
python魔法方法-属性访问控制详解
Jul 25 Python
tensorflow实现KNN识别MNIST
Mar 12 Python
解决python os.mkdir创建目录失败的问题
Oct 16 Python
python引用(import)某个模块提示没找到对应模块的解决方法
Jan 19 Python
python turtle工具绘制四叶草的实例分享
Feb 14 Python
python获取整个网页源码的方法
Aug 03 Python
Python实现Appium端口检测与释放的实现
Dec 31 Python
python中remove函数的踩坑记录
Jan 04 Python
python 获取谷歌浏览器保存的密码
Jan 06 Python
零基础写python爬虫之爬虫编写全记录
Nov 06 #Python
零基础写python爬虫之打包生成exe文件
Nov 06 #Python
零基础写python爬虫之抓取百度贴吧并存储到本地txt文件改进版
Nov 06 #Python
零基础写python爬虫之抓取糗事百科代码分享
Nov 06 #Python
零基础写python爬虫之神器正则表达式
Nov 06 #Python
零基础写python爬虫之抓取百度贴吧代码分享
Nov 06 #Python
零基础写python爬虫之urllib2使用指南
Nov 05 #Python
You might like
PHP中file_exists与is_file,is_dir的区别介绍
2012/09/12 PHP
php中DOMElement操作xml文档实例演示
2013/03/26 PHP
PHP的基本常识小结
2013/07/05 PHP
分析php://output和php://stdout的区别
2018/05/06 PHP
Web层改进II-用xmlhttp 无声息提交复杂表单
2007/01/22 Javascript
Javascript & DHTML 实例编程(教程)基础知识
2007/06/02 Javascript
基于jQuery的input输入框下拉提示层(自动邮箱后缀名)
2012/06/14 Javascript
jquery $.each 和for怎么跳出循环终止本次循环
2013/09/27 Javascript
JS仿百度搜索自动提示框匹配查询功能
2013/11/21 Javascript
js中document.write使用过程中的一点疑问解答
2014/03/20 Javascript
js四舍五入数学函数round使用实例
2014/05/09 Javascript
js实现div模拟模态对话框展现URL内容
2016/05/27 Javascript
使用JavaScript实现表格编辑器(实例讲解)
2017/08/02 Javascript
React-Native左右联动List的示例代码
2017/09/21 Javascript
Vue的路由动态重定向和导航守卫实例
2018/03/17 Javascript
在create-react-app中使用css modules的示例代码
2018/07/31 Javascript
Vue页面跳转动画效果的实现方法
2018/09/23 Javascript
对angularJs中2种自定义服务的实例讲解
2018/09/30 Javascript
webpack@v4升级踩坑(小结)
2018/10/08 Javascript
详解微信小程序scroll-view横向滚动的实践踩坑及隐藏其滚动条的实现
2019/03/14 Javascript
[00:43]DOTA2小紫本全民票选福利PA至宝全方位展示
2014/11/25 DOTA
在Python中使用判断语句和循环的教程
2015/04/25 Python
python2.7安装图文教程
2018/03/13 Python
5款Python程序员高频使用开发工具推荐
2019/04/10 Python
pyqt5 实现工具栏文字图片同时显示
2019/06/13 Python
python绘制已知点的坐标的直线实例
2019/07/04 Python
python中hasattr()、getattr()、setattr()函数的使用
2019/08/16 Python
python3-flask-3将信息写入日志的实操方法
2019/11/12 Python
python 检查数据中是否有缺失值,删除缺失值的方式
2019/12/02 Python
聊聊python中的循环遍历
2020/09/07 Python
意大利在线高尔夫商店:Online Golf
2021/03/09 全球购物
linux系统都有哪些运行级别
2012/04/15 面试题
个人廉洁自律承诺书
2014/03/27 职场文书
革命英雄事迹演讲稿
2014/09/13 职场文书
小学秋季运动会报道稿
2014/09/30 职场文书
2014年预备党员群众路线教育实践活动对照检查材料思想汇报
2014/10/02 职场文书