Python3爬虫中pyspider的安装步骤


Posted in Python onJuly 29, 2020

pyspider是国人binux编写的强大的网络爬虫框架,它带有强大的WebUI、脚本编辑器、任务监控器、项目管理器以及结果处理器,同时支持多种数据库后端、多种消息队列,另外还支持JavaScript渲染页面的爬取,使用起来非常方便,本节介绍一下它的安装过程。

1. 相关链接

官方文档:http://docs.pyspider.org/

PyPI:https://pypi.python.org/pypi/pyspider

GitHub:https://github.com/binux/pyspider

官方教程:http://docs.pyspider.org/en/latest/tutorial

在线实例:http://demo.pyspider.org

2. 准备工作

pyspider是支持JavaScript渲染的,而这个过程是依赖于PhantomJS的,所以还需要安装PhantomJS(具体的安装过程详见1.2.5节)。

3. pip安装

这里推荐使用pip安装,命令如下:

pip3 install pyspider

命令执行完毕即可完成安装。

4. 常见错误

Windows下可能会出现这样的错误提示:

Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl

这是PyCurl安装错误,此时需要安装PyCurl库。从http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的Python版本,然后下载相应的wheel文件即可。比如Windows 64位、Python 3.6,则需要下载pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl,随后用pip安装即可,命令如下:

pip3 install pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl

如果在Linux下遇到PyCurl的错误,可以参考本文:https://3water.com/article/192094.htm。

5. 验证安装

安装完成之后,可以直接在命令行下启动pyspider:

pyspider all

此时控制台会有类似如图1-74所示的输出。

Python3爬虫中pyspider的安装步骤

这时pyspider的Web服务就会在本地5000端口运行。直接在浏览器中打开http://localhost:5000/,即可进入pyspider的WebUI管理页面,如图1-75所示,这证明pyspider已经安装成功了。

Python3爬虫中pyspider的安装步骤

后面,我们会详细介绍pyspider的用法。

到此这篇关于Python3爬虫中pyspider的安装步骤的文章就介绍到这了,更多相关Python3爬虫pyspider的安装内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python 生成目录树及显示文件大小的代码
Jul 23 Python
Python中tell()方法的使用详解
May 24 Python
利用numpy+matplotlib绘图的基本操作教程
May 03 Python
浅谈Scrapy框架普通反爬虫机制的应对策略
Dec 28 Python
Python实现将json文件中向量写入Excel的方法
Mar 26 Python
python笔记之mean()函数实现求取均值的功能代码
Jul 05 Python
python画双y轴图像的示例代码
Jul 07 Python
tensorflow通过模型文件,使用tensorboard查看其模型图Graph方式
Jan 23 Python
python中pandas库中DataFrame对行和列的操作使用方法示例
Jun 14 Python
大数据分析用java还是Python
Jul 06 Python
详解python的内存分配机制
May 10 Python
python数字图像处理之图像自动阈值分割示例
Jun 28 Python
关于Python3爬虫利器Appium的安装步骤
Jul 29 #Python
Python3爬虫mitmproxy的安装步骤
Jul 29 #Python
Python使用jpype模块调用jar包过程解析
Jul 29 #Python
Python 防止死锁的方法
Jul 29 #Python
Python定义一个Actor任务
Jul 29 #Python
Python如何重新加载模块
Jul 29 #Python
Python加速程序运行的方法
Jul 29 #Python
You might like
php中全局变量global的使用演示代码
2011/05/18 PHP
PHP导出MySQL数据到Excel文件(fputcsv)
2011/07/03 PHP
php密码生成类实例
2014/09/24 PHP
PDO防注入原理分析以及注意事项
2015/02/25 PHP
PHP使用ffmpeg给视频增加字幕显示的方法
2015/03/12 PHP
PHP jQuery+Ajax结合写批量删除功能
2017/05/19 PHP
PHP中类型转换 ,常量,系统常量,魔术常量的详解
2017/10/26 PHP
导航跟随滚动条置顶移动示例代码
2013/09/11 Javascript
javaScript arguments 对象使用介绍
2013/10/18 Javascript
js控制分页打印、打印分页示例
2014/02/08 Javascript
jQuery插件学习教程之SlidesJs轮播+Validation验证
2016/07/12 Javascript
Bootstrap源码解读按钮(5)
2016/12/23 Javascript
浅析JavaScript中的平稳退化(graceful degradation)
2017/07/24 Javascript
vue proxyTable 接口跨域请求调试的示例
2017/09/12 Javascript
vue2.0组件之间传值、通信的多种方式(干货)
2018/02/10 Javascript
JavaScript实现动态添加、移除元素或属性的方法分析
2019/01/03 Javascript
简单通过settimeout看javascript的运行机制
2019/05/10 Javascript
利用JavaScript将Excel转换为JSON示例代码
2019/06/14 Javascript
js实现打字小游戏
2019/12/17 Javascript
python和shell实现的校验IP地址合法性脚本分享
2014/10/23 Python
Python做文本按行去重的实现方法
2016/10/19 Python
python制作小说爬虫实录
2017/08/14 Python
python 接收处理外带的参数方法
2018/12/03 Python
python实现年会抽奖程序
2019/01/22 Python
python批量下载抖音视频
2019/06/17 Python
Python模拟登录之滑块验证码的破解(实例代码)
2019/11/18 Python
Anaconda3中的Jupyter notebook添加目录插件的实现
2020/05/18 Python
Python numpy矩阵处理运算工具用法汇总
2020/07/13 Python
微信html5页面调用第三方位置导航的示例
2018/03/14 HTML / CSS
adidas泰国官网:adidas TH
2020/07/11 全球购物
法国在线药房:DoctiPharma
2020/10/21 全球购物
新员工培训个人的自我评价
2013/10/09 职场文书
计算机应用应届生求职信
2014/07/12 职场文书
2014年基层党建工作总结
2014/11/11 职场文书
2016年学校“3.12”植树节活动总结
2016/03/16 职场文书
一文弄懂MySQL索引创建原则
2022/02/28 MySQL