python中安装Scrapy模块依赖包汇总


Posted in Python onJuly 02, 2017

本地虚拟环境开发完成之后,上线过程中需要一一安装依赖包,做个记录如下:

CentOS 安装python3.5.3

wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz
tar -xf Python-3.5.3.tgz cd Python-3.5.3
./configure --prefix=/usr/local/python353 make & make install

完成安装python3.5.3,在不删除系统自带的python2.x情况下,做几个软链:

#做python3软链
ln -s /usr/local/python353/bin/python3 /usr/local/bin/
#pip3软链
ln -s /usr/local/python353/bin/pip3 /usr/local/bin/

上传程序,安装scrapy及其依赖包:

#user agent包
pip3 install fake-useragent -i https://pypi.douban.com/simple/
#pymysql包
pip3 install pymysql -i https://pypi.douban.com/simple/
#PooledDB依赖包
pip3 install DBUtils -i https://pypi.douban.com/simple/
#PIL模块依赖包
pip3 install Image -i https://pypi.douban.com/simple/

在Centos系统中安装过程中,出现一个较为淡疼的问题:系统没有安装sqlite3,故此一直提示:
解决上面问题,下载sqlite3

sudo wget http://www.sqlite.org/2017/sqlite-autoconf-3190300.tar.gz

编译安装:

tar zxvf sqlite-autoconf-3190300.tar.gz cd sqlite-autoconf-3190300
./configure --prefix=/usr/local/sqlite3
make && make install

重新编译Python,找到Python3.5.3的安装文件路径,编辑setup.py脚本,找到 “sqlite3”

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
]

在最后一行加入sqlite3编译安装路径,如下:

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
'/usr/local/sqlite3',
]

重新编译Python3.5.3:

./configure --prefix=/usr/local/python353
make && make install
Python 相关文章推荐
python中随机函数random用法实例
Apr 30 Python
python 远程统计文件代码分享
May 14 Python
Python中Iterator迭代器的使用杂谈
Jun 20 Python
python3爬取各类天气信息
Feb 24 Python
python构建深度神经网络(续)
Mar 10 Python
python 重命名轴索引的方法
Nov 10 Python
python pygame实现2048游戏
Nov 20 Python
python 字典操作提取key,value的方法
Jun 26 Python
Python 3.8 新功能全解
Jul 25 Python
python实现单目标、多目标、多尺度、自定义特征的KCF跟踪算法(实例代码)
Jan 08 Python
python正则过滤字母、中文、数字及特殊字符方法详解
Feb 11 Python
python如何解析复杂sql,实现数据库和表的提取的实例剖析
May 15 Python
Python使用filetype精确判断文件类型
Jul 02 #Python
使用python实现tcp自动重连
Jul 02 #Python
详解python3中socket套接字的编码问题解决
Jul 01 #Python
详解Python中for循环是如何工作的
Jun 30 #Python
python 连接sqlite及简单操作
Jun 30 #Python
利用Python破解斗地主残局详解
Jun 30 #Python
Python实现的文本编辑器功能示例
Jun 30 #Python
You might like
phpfans留言版用到的install.php
2007/01/04 PHP
PHP中的str_repeat函数在JavaScript中的实现
2013/09/16 PHP
Laravel 集成微信用户登录和绑定的实现
2019/12/27 PHP
jquery提升性能最佳实践小结
2010/12/06 Javascript
js分页工具实例
2015/01/28 Javascript
jQuery实现contains方法不区分大小写的方法
2015/02/13 Javascript
Nodejs下用submit提交表单提示cannot post错误的解决方法
2016/11/21 NodeJs
JS库之wow.js使用方法
2017/09/14 Javascript
关于axios不能使用Vue.use()浅析
2018/01/12 Javascript
简述vue中的config配置
2018/01/23 Javascript
使用 vue.js 构建大型单页应用
2018/02/10 Javascript
node打造微信个人号机器人的方法示例
2018/04/26 Javascript
微信小程序常见页面跳转操作简单示例
2019/05/01 Javascript
js实现轮播图特效
2020/05/28 Javascript
Python求两个list的差集、交集与并集的方法
2014/11/01 Python
Python实现删除文件中含“指定内容”的行示例
2017/06/09 Python
Ubuntu安装Jupyter Notebook教程
2017/10/18 Python
Python编程实现从字典中提取子集的方法分析
2018/02/09 Python
python微信跳一跳系列之自动计算跳一跳距离
2018/02/26 Python
浅谈python配置与使用OpenCV踩的一些坑
2018/04/02 Python
Python实现的对本地host127.0.0.1主机进行扫描端口功能示例
2019/02/15 Python
详解Python_shutil模块
2019/03/15 Python
python之当你发现QTimer不能用时的解决方法
2019/06/21 Python
关于Pytorch的MLP模块实现方式
2020/01/07 Python
面向新手解析python Beautiful Soup基本用法
2020/07/11 Python
Pycharm 解决自动格式化冲突的设置操作
2021/01/15 Python
python 求两个向量的顺时针夹角操作
2021/03/04 Python
让IE6支持css3,让 IE7、IE8 都支持CSS3
2011/10/09 HTML / CSS
澳大利亚婴儿喂养品牌:Cherub Baby
2018/11/01 全球购物
Kusmi茶美国官网:优质散叶茶和茶包
2019/10/13 全球购物
Woods官网:加拿大最古老、最受尊敬的户外品牌之一
2020/09/12 全球购物
暑期研修感言
2014/02/17 职场文书
车队安全员岗位职责
2015/02/15 职场文书
使用Golang的channel交叉打印两个数组的操作
2021/04/29 Golang
Python中常见的导入方式总结
2021/05/06 Python
如何用PHP实现分布算法之一致性哈希算法
2021/05/26 PHP