Python3爬虫中pyspider的安装步骤


Posted in Python onJuly 29, 2020

pyspider是国人binux编写的强大的网络爬虫框架,它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器,同时支持多种数据库后端、多种消息队列,另外还支持JavaScript渲染页面的爬取,使用起来非常方便,本节介绍一下它的安装过程。

1. 相关链接

官方文档:http://docs.pyspider.org/

PyPI:https://pypi.python.org/pypi/pyspider

GitHub:https://github.com/binux/pyspider

官方教程:http://docs.pyspider.org/en/latest/tutorial

在线实例:http://demo.pyspider.org

2. 准备工作

pyspider是支持JavaScript渲染的,而这个过程是依赖于PhantomJS的,所以还需要安装PhantomJS(具体的安装过程详见1.2.5节)。

3. pip安装

这里推荐使用pip安装,命令如下:

pip3 install pyspider

命令执行完毕即可完成安装。

4. 常见错误

Windows下可能会出现这样的错误提示:

Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl

这是PyCurl安装错误,此时需要安装PyCurl库。从http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的Python版本,然后下载相应的wheel文件即可。比如Windows 64位、Python 3.6,则需要下载pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl,随后用pip安装即可,命令如下:

pip3 install pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl

如果在Linux下遇到PyCurl的错误,可以参考本文:https://3water.com/article/192094.htm。

5. 验证安装

安装完成之后,可以直接在命令行下启动pyspider:

pyspider all

此时控制台会有类似如图1-74所示的输出。

Python3爬虫中pyspider的安装步骤

这时pyspider的Web服务就会在本地5000端口运行。直接在浏览器中打开http://localhost:5000/,即可进入pyspider的WebUI管理页面,如图1-75所示,这证明pyspider已经安装成功了。

Python3爬虫中pyspider的安装步骤

后面,我们会详细介绍pyspider的用法。

到此这篇关于Python3爬虫中pyspider的安装步骤的文章就介绍到这了,更多相关Python3爬虫pyspider的安装内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
50行代码实现贪吃蛇(具体思路及代码)
Apr 27 Python
python实现简单温度转换的方法
Mar 13 Python
详解Python中expandtabs()方法的使用
May 18 Python
python类的方法属性与方法属性的动态绑定代码详解
Dec 27 Python
python根据unicode判断语言类型实例代码
Jan 17 Python
终端命令查看TensorFlow版本号及路径的方法
Jun 13 Python
python numpy元素的区间查找方法
Nov 14 Python
python解压TAR文件至指定文件夹的实例
Jun 10 Python
python3.6根据m3u8下载mp4视频
Jun 17 Python
python打开音乐文件的实例方法
Jul 21 Python
PyTorch预训练Bert模型的示例
Nov 17 Python
Django-silk性能测试工具安装及使用解析
Nov 28 Python
关于Python3爬虫利器Appium的安装步骤
Jul 29 #Python
Python3爬虫mitmproxy的安装步骤
Jul 29 #Python
Python使用jpype模块调用jar包过程解析
Jul 29 #Python
Python 防止死锁的方法
Jul 29 #Python
Python定义一个Actor任务
Jul 29 #Python
Python如何重新加载模块
Jul 29 #Python
Python加速程序运行的方法
Jul 29 #Python
You might like
文件上传的实现
2006/10/09 PHP
DOM XPATH获取img src值的query
2013/09/23 PHP
利用“多说”制作留言板、评论系统
2015/07/14 PHP
PHP实现抓取迅雷VIP账号的方法
2015/07/30 PHP
PHP echo()函数讲解
2019/02/15 PHP
jquery 添加节点的几种方法介绍
2013/09/04 Javascript
在javaScript中关于submit和button的区别介绍
2013/10/20 Javascript
使用jquery实现的一个图片延迟加载插件(含图片延迟加载原理)
2014/06/05 Javascript
在Linux系统中搭建Node.js开发环境的简单步骤讲解
2016/01/26 Javascript
javascript获取wx.config内部字段解决微信分享
2016/03/09 Javascript
使用jQuery操作HTML的table表格的实例解析
2016/03/13 Javascript
浅谈JavaScript 浏览器对象
2016/06/03 Javascript
jQuery实现单击按钮遮罩弹出对话框效果(2)
2017/02/20 Javascript
javascript input输入框模糊提示功能的实现
2017/09/25 Javascript
Vue.js实现图片的随意拖动方法
2018/03/08 Javascript
vue vue-Router默认hash模式修改为history需要做的修改详解
2018/09/13 Javascript
深入理解 Koa 框架中间件原理
2018/10/18 Javascript
javaScript实现游戏倒计时功能
2018/11/17 Javascript
Vue2.0+Vux搭建一个完整的移动webApp项目的示例
2019/03/19 Javascript
layui数据表格 table.render 报错的解决方法
2019/09/29 Javascript
vue中解决拖拽改变存在iframe的div大小时卡顿问题
2020/07/22 Javascript
Angular+Ionic使用queryParams实现跳转页传值的方法
2020/09/05 Javascript
Python的Django框架中的表单处理示例
2015/07/17 Python
django-rest-framework解析请求参数过程详解
2019/07/18 Python
利用python-pypcap抓取带VLAN标签的数据包方法
2019/07/23 Python
python requests指定出口ip的例子
2019/07/25 Python
python网络爬虫 CrawlSpider使用详解
2019/09/27 Python
代码总结Python2 和 Python3 字符串的区别
2020/01/28 Python
Python loguru日志库之高效输出控制台日志和日志记录
2020/03/07 Python
Django用户登录与注册系统的实现示例
2020/06/03 Python
python利用opencv保存、播放视频
2020/11/02 Python
AmazeUI框架搭建的方法步骤(图文)
2020/08/17 HTML / CSS
财务管理专业推荐信
2013/11/19 职场文书
工程质量月活动方案
2014/02/19 职场文书
2014年最新领导班子整改方案
2014/09/27 职场文书
行政处罚事先告知书
2015/07/01 职场文书