Python3爬虫中pyspider的安装步骤


Posted in Python onJuly 29, 2020

pyspider是国人binux编写的强大的网络爬虫框架,它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器,同时支持多种数据库后端、多种消息队列,另外还支持JavaScript渲染页面的爬取,使用起来非常方便,本节介绍一下它的安装过程。

1. 相关链接

官方文档:http://docs.pyspider.org/

PyPI:https://pypi.python.org/pypi/pyspider

GitHub:https://github.com/binux/pyspider

官方教程:http://docs.pyspider.org/en/latest/tutorial

在线实例:http://demo.pyspider.org

2. 准备工作

pyspider是支持JavaScript渲染的,而这个过程是依赖于PhantomJS的,所以还需要安装PhantomJS(具体的安装过程详见1.2.5节)。

3. pip安装

这里推荐使用pip安装,命令如下:

pip3 install pyspider

命令执行完毕即可完成安装。

4. 常见错误

Windows下可能会出现这样的错误提示:

Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl

这是PyCurl安装错误,此时需要安装PyCurl库。从http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的Python版本,然后下载相应的wheel文件即可。比如Windows 64位、Python 3.6,则需要下载pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl,随后用pip安装即可,命令如下:

pip3 install pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl

如果在Linux下遇到PyCurl的错误,可以参考本文:https://3water.com/article/192094.htm。

5. 验证安装

安装完成之后,可以直接在命令行下启动pyspider:

pyspider all

此时控制台会有类似如图1-74所示的输出。

Python3爬虫中pyspider的安装步骤

这时pyspider的Web服务就会在本地5000端口运行。直接在浏览器中打开http://localhost:5000/,即可进入pyspider的WebUI管理页面,如图1-75所示,这证明pyspider已经安装成功了。

Python3爬虫中pyspider的安装步骤

后面,我们会详细介绍pyspider的用法。

到此这篇关于Python3爬虫中pyspider的安装步骤的文章就介绍到这了,更多相关Python3爬虫pyspider的安装内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python 运算符 供重载参考
Jun 11 Python
Python中的MongoDB基本操作:连接、查询实例
Feb 13 Python
Python的函数的一些高阶特性
Apr 27 Python
Python查询阿里巴巴关键字排名的方法
Jul 08 Python
Python的Django框架中forms表单类的使用方法详解
Jun 21 Python
python tensorflow学习之识别单张图片的实现的示例
Feb 09 Python
Python3实现的字典、列表和json对象互转功能示例
May 22 Python
详解python3中zipfile模块用法
Jun 18 Python
Django web框架使用url path name详解
Apr 29 Python
pyqt 实现QlineEdit 输入密码显示成圆点的方法
Jun 24 Python
Python web如何在IIS发布应用过程解析
May 27 Python
关于Theano和Tensorflow多GPU使用问题
Jun 19 Python
关于Python3爬虫利器Appium的安装步骤
Jul 29 #Python
Python3爬虫mitmproxy的安装步骤
Jul 29 #Python
Python使用jpype模块调用jar包过程解析
Jul 29 #Python
Python 防止死锁的方法
Jul 29 #Python
Python定义一个Actor任务
Jul 29 #Python
Python如何重新加载模块
Jul 29 #Python
Python加速程序运行的方法
Jul 29 #Python
You might like
php 图像函数大举例(非原创)
2009/06/20 PHP
PHP函数nl2br()与自定义函数nl2p()换行用法分析
2016/04/02 PHP
PHP那些琐碎的知识点(整理)
2017/05/20 PHP
再谈Yii Framework框架中的事件event原理与应用
2020/04/07 PHP
表单内同名元素的控制
2006/11/22 Javascript
一个简单的js鼠标划过切换效果
2010/06/30 Javascript
jquery 实现窗口的最大化不论什么情况
2013/09/03 Javascript
jQuery元素选择器用法实例
2014/12/23 Javascript
jquery实现仿JqueryUi可拖动的DIV实例
2015/07/31 Javascript
微信端开发--登录小程序步骤
2017/01/11 Javascript
jquery 仿锚点跳转到页面指定位置的实例
2017/02/14 Javascript
JavaScript使用readAsDataURL读取图像文件
2017/05/10 Javascript
react.js 父子组件数据绑定实时通讯的示例代码
2017/09/25 Javascript
js精确的加减乘除实例
2017/11/14 Javascript
解决vue项目使用font-awesome,build后路径的问题
2018/09/01 Javascript
微信小程序授权登录及解密unionId出错的方法
2018/09/26 Javascript
JavaScript常用进制转换及位运算实例解析
2020/10/14 Javascript
python抓取网页内容示例分享
2014/02/24 Python
Python中使用wxPython开发的一个简易笔记本程序实例
2015/02/08 Python
python实现的希尔排序算法实例
2015/07/01 Python
详解Django中的ifequal和ifnotequal标签使用
2015/07/16 Python
python函数形参用法实例分析
2015/08/04 Python
解决Shell执行python文件,传参空格引起的问题
2018/10/30 Python
python GUI实现小球满屏乱跑效果
2019/05/09 Python
Python networkx包的实现
2020/02/14 Python
python+Selenium自动化测试——输入,点击操作
2020/03/06 Python
Django如何实现防止XSS攻击
2020/10/13 Python
css3实现六边形边框的实例代码
2019/05/24 HTML / CSS
在IE6系列等老式浏览器中使用HTML5的新标签实现方案
2012/12/25 HTML / CSS
韩国CJ食品专卖网:CJonmart
2016/09/11 全球购物
德国网上药房:Apotal
2017/04/04 全球购物
最便宜促销价格订机票:Airpaz(总部设在印尼,支持中文)
2018/11/13 全球购物
老公爱的承诺书
2014/03/31 职场文书
副校长竞聘演讲稿
2014/09/01 职场文书
css3 filter属性的使用简介
2021/03/31 HTML / CSS
Java设计模式中的命令模式
2022/04/28 Java/Android