python中安装Scrapy模块依赖包汇总


Posted in Python onJuly 02, 2017

本地虚拟环境开发完成之后,上线过程中需要一一安装依赖包,做个记录如下:

CentOS 安装python3.5.3

wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz
tar -xf Python-3.5.3.tgz cd Python-3.5.3
./configure --prefix=/usr/local/python353 make & make install

完成安装python3.5.3,在不删除系统自带的python2.x情况下,做几个软链:

#做python3软链
ln -s /usr/local/python353/bin/python3 /usr/local/bin/
#pip3软链
ln -s /usr/local/python353/bin/pip3 /usr/local/bin/

上传程序,安装scrapy及其依赖包:

#user agent包
pip3 install fake-useragent -i https://pypi.douban.com/simple/
#pymysql包
pip3 install pymysql -i https://pypi.douban.com/simple/
#PooledDB依赖包
pip3 install DBUtils -i https://pypi.douban.com/simple/
#PIL模块依赖包
pip3 install Image -i https://pypi.douban.com/simple/

在Centos系统中安装过程中,出现一个较为淡疼的问题:系统没有安装sqlite3,故此一直提示:
解决上面问题,下载sqlite3

sudo wget http://www.sqlite.org/2017/sqlite-autoconf-3190300.tar.gz

编译安装:

tar zxvf sqlite-autoconf-3190300.tar.gz cd sqlite-autoconf-3190300
./configure --prefix=/usr/local/sqlite3
make && make install

重新编译Python,找到Python3.5.3的安装文件路径,编辑setup.py脚本,找到 “sqlite3”

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
]

在最后一行加入sqlite3编译安装路径,如下:

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
'/usr/local/sqlite3',
]

重新编译Python3.5.3:

./configure --prefix=/usr/local/python353
make && make install
Python 相关文章推荐
Python3实现的腾讯微博自动发帖小工具
Nov 11 Python
python计算最小优先级队列代码分享
Dec 18 Python
Python Grid使用和布局详解
Jun 30 Python
Sanic框架Cookies操作示例
Jul 17 Python
python中for循环输出列表索引与对应的值方法
Nov 07 Python
Python HTML解析器BeautifulSoup用法实例详解【爬虫解析器】
Apr 05 Python
Python实现插入排序和选择排序的方法
May 12 Python
Python使用sklearn库实现的各种分类算法简单应用小结
Jul 04 Python
详解Python self 参数
Aug 30 Python
python安装和pycharm环境搭建设置方法
May 27 Python
python基于opencv实现人脸识别
Jan 04 Python
python中的插入排序的简单用法
Jan 19 Python
Python使用filetype精确判断文件类型
Jul 02 #Python
使用python实现tcp自动重连
Jul 02 #Python
详解python3中socket套接字的编码问题解决
Jul 01 #Python
详解Python中for循环是如何工作的
Jun 30 #Python
python 连接sqlite及简单操作
Jun 30 #Python
利用Python破解斗地主残局详解
Jun 30 #Python
Python实现的文本编辑器功能示例
Jun 30 #Python
You might like
php+ajax实现的点击浏览量加1
2015/04/16 PHP
Zend Framework教程之模型Model基本规则和使用方法
2016/03/04 PHP
php array_walk_recursive 使用自定的函数处理数组中的每一个元素
2016/11/16 PHP
详解php几行代码实现CSV格式文件输出
2017/07/01 PHP
Phpstorm+Xdebug断点调试PHP的方法
2018/05/14 PHP
thinkphp5.0整合phpsocketio完整攻略(绕坑)
2018/10/12 PHP
网站页面自动跳转实现方法PHP、JSP(下)
2010/08/01 Javascript
javascript 基础篇3 类,回调函数,内置对象,事件处理
2012/03/14 Javascript
jQuery Ajax请求状态管理器打包
2012/05/03 Javascript
Javascript 检测键盘按键信息及键码值对应介绍
2013/01/03 Javascript
jQuery列表拖动排列具体实现
2013/11/04 Javascript
利用CSS3在Angular中实现动画
2016/01/15 Javascript
Angular.js中$apply()和$digest()的深入理解
2016/10/13 Javascript
JS实现用户注册时获取短信验证码和倒计时功能
2016/10/27 Javascript
详解js的延迟对象、跨域、模板引擎、弹出层、AJAX【附实例下载】
2016/12/19 Javascript
JS排序算法之冒泡排序,选择排序与插入排序实例分析
2017/12/13 Javascript
JS深入学习之数组对象排序操作示例
2020/05/01 Javascript
Javascript实现打鼓效果
2021/01/29 Javascript
利用Pyhton中的requests包进行网页访问测试的方法
2018/12/26 Python
python图片二值化提高识别率代码实例
2019/08/24 Python
python中如何实现将数据分成训练集与测试集的方法
2019/09/13 Python
谈谈Python:为什么类中的私有属性可以在外部赋值并访问
2020/03/05 Python
python实现扑克牌交互式界面发牌程序
2020/04/22 Python
Html5 webRTC简单实现视频调用的示例代码
2020/09/23 HTML / CSS
关于HTML5+ API plusready的兼容问题
2020/11/20 HTML / CSS
英国领先的露营和露营车品牌之一:OLPRO
2019/08/06 全球购物
C语言中一个结构不能包含指向自己的指针吗
2012/05/25 面试题
会计专业推荐信
2013/10/29 职场文书
咖啡店的创业计划书,让你hold不住
2014/01/03 职场文书
公司同意接收函
2014/01/13 职场文书
执行总经理岗位职责
2014/02/03 职场文书
贷款委托书范本
2014/04/08 职场文书
小摄影师教学反思
2014/04/27 职场文书
2014年图书管理员工作总结
2014/12/01 职场文书
清洁工个人总结
2015/03/04 职场文书
《黑岩★★射手 DAWN FALL》BD发售宣传CM公开
2022/04/04 日漫