python中安装Scrapy模块依赖包汇总


Posted in Python onJuly 02, 2017

本地虚拟环境开发完成之后,上线过程中需要一一安装依赖包,做个记录如下:

CentOS 安装python3.5.3

wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz
tar -xf Python-3.5.3.tgz cd Python-3.5.3
./configure --prefix=/usr/local/python353 make & make install

完成安装python3.5.3,在不删除系统自带的python2.x情况下,做几个软链:

#做python3软链
ln -s /usr/local/python353/bin/python3 /usr/local/bin/
#pip3软链
ln -s /usr/local/python353/bin/pip3 /usr/local/bin/

上传程序,安装scrapy及其依赖包:

#user agent包
pip3 install fake-useragent -i https://pypi.douban.com/simple/
#pymysql包
pip3 install pymysql -i https://pypi.douban.com/simple/
#PooledDB依赖包
pip3 install DBUtils -i https://pypi.douban.com/simple/
#PIL模块依赖包
pip3 install Image -i https://pypi.douban.com/simple/

在Centos系统中安装过程中,出现一个较为淡疼的问题:系统没有安装sqlite3,故此一直提示:
解决上面问题,下载sqlite3

sudo wget http://www.sqlite.org/2017/sqlite-autoconf-3190300.tar.gz

编译安装:

tar zxvf sqlite-autoconf-3190300.tar.gz cd sqlite-autoconf-3190300
./configure --prefix=/usr/local/sqlite3
make && make install

重新编译Python,找到Python3.5.3的安装文件路径,编辑setup.py脚本,找到 “sqlite3”

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
]

在最后一行加入sqlite3编译安装路径,如下:

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
'/usr/local/sqlite3',
]

重新编译Python3.5.3:

./configure --prefix=/usr/local/python353
make && make install
Python 相关文章推荐
Python连接mysql数据库的正确姿势
Feb 03 Python
python爬取51job中hr的邮箱
May 14 Python
Python中的sort()方法使用基础教程
Jan 08 Python
利用python画一颗心的方法示例
Jan 31 Python
python enumerate函数的使用方法总结
Nov 15 Python
tensorflow1.0学习之模型的保存与恢复(Saver)
Apr 23 Python
详解python单元测试框架unittest
Jul 02 Python
python实现通过队列完成进程间的多任务功能示例
Oct 28 Python
浅析python内置模块collections
Nov 15 Python
PyCharm 2020.2.2 x64 下载并安装的详细教程
Oct 15 Python
Python中json.dumps()函数的使用解析
May 17 Python
Python+tkinter实现高清图片保存
Mar 13 Python
Python使用filetype精确判断文件类型
Jul 02 #Python
使用python实现tcp自动重连
Jul 02 #Python
详解python3中socket套接字的编码问题解决
Jul 01 #Python
详解Python中for循环是如何工作的
Jun 30 #Python
python 连接sqlite及简单操作
Jun 30 #Python
利用Python破解斗地主残局详解
Jun 30 #Python
Python实现的文本编辑器功能示例
Jun 30 #Python
You might like
PHP开发大型项目的一点经验
2006/10/09 PHP
php实现有序数组旋转后寻找最小值方法
2018/09/27 PHP
PHP数组对象与Json转换操作实例分析
2019/10/22 PHP
js 与或运算符 || && 妙用
2009/12/09 Javascript
JQuery Dialog的内存泄露问题解决方法
2010/06/18 Javascript
javascript中的继承实例代码
2011/04/27 Javascript
Js获取下拉框选定项的值和文本的实现代码
2014/02/26 Javascript
javascript中sort()的用法实例分析
2015/01/30 Javascript
JQuery动画与特效实例分析
2015/02/02 Javascript
Jquery实现仿腾讯娱乐频道焦点图(幻灯片)特效
2015/03/06 Javascript
jquery仿QQ登录账号选择下拉框效果
2016/03/22 Javascript
JS匿名函数类生成方式实例分析
2016/11/26 Javascript
web打印小结
2017/01/11 Javascript
jQuery实现别踩白块儿网页版小游戏
2017/01/18 Javascript
微信小程序实战之上拉(分页加载)效果(2)
2017/04/17 Javascript
微信小程序日历组件calendar详解及实例
2017/06/08 Javascript
基于webpack.config.js 参数详解
2018/03/20 Javascript
js中的闭包实例展示
2018/11/01 Javascript
React Native中ScrollView组件轮播图与ListView渲染列表组件用法实例分析
2020/01/06 Javascript
vue点击标签切换选中及互相排斥操作
2020/07/17 Javascript
Openlayers绘制聚合标注
2020/09/28 Javascript
通过python下载FTP上的文件夹的实现代码
2013/02/10 Python
Python实现方便使用的级联进度信息实例
2015/05/05 Python
Python实现基本数据结构中队列的操作方法示例
2017/12/04 Python
python利用7z批量解压rar的实现
2019/08/07 Python
python3 map函数和filter函数详解
2019/08/26 Python
浅析python函数式编程
2020/09/26 Python
魔幻般冒泡背景的CSS3按钮动画
2016/02/27 HTML / CSS
三星俄罗斯授权在线商店:Samsung俄罗斯
2019/09/28 全球购物
Python面试题集
2012/03/08 面试题
学习雷锋寄语大全
2014/04/11 职场文书
三好学生事迹材料
2014/12/24 职场文书
高考升学宴答谢词
2015/01/20 职场文书
材料采购员岗位职责
2015/04/03 职场文书
在Django中使用MQTT的方法
2021/05/10 Python
python自动获取微信公众号最新文章的实现代码
2022/07/15 Python