python中安装Scrapy模块依赖包汇总


Posted in Python onJuly 02, 2017

本地虚拟环境开发完成之后,上线过程中需要一一安装依赖包,做个记录如下:

CentOS 安装python3.5.3

wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz
tar -xf Python-3.5.3.tgz cd Python-3.5.3
./configure --prefix=/usr/local/python353 make & make install

完成安装python3.5.3,在不删除系统自带的python2.x情况下,做几个软链:

#做python3软链
ln -s /usr/local/python353/bin/python3 /usr/local/bin/
#pip3软链
ln -s /usr/local/python353/bin/pip3 /usr/local/bin/

上传程序,安装scrapy及其依赖包:

#user agent包
pip3 install fake-useragent -i https://pypi.douban.com/simple/
#pymysql包
pip3 install pymysql -i https://pypi.douban.com/simple/
#PooledDB依赖包
pip3 install DBUtils -i https://pypi.douban.com/simple/
#PIL模块依赖包
pip3 install Image -i https://pypi.douban.com/simple/

在Centos系统中安装过程中,出现一个较为淡疼的问题:系统没有安装sqlite3,故此一直提示:
解决上面问题,下载sqlite3

sudo wget http://www.sqlite.org/2017/sqlite-autoconf-3190300.tar.gz

编译安装:

tar zxvf sqlite-autoconf-3190300.tar.gz cd sqlite-autoconf-3190300
./configure --prefix=/usr/local/sqlite3
make && make install

重新编译Python,找到Python3.5.3的安装文件路径,编辑setup.py脚本,找到 “sqlite3”

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
]

在最后一行加入sqlite3编译安装路径,如下:

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
'/usr/local/sqlite3',
]

重新编译Python3.5.3:

./configure --prefix=/usr/local/python353
make && make install
Python 相关文章推荐
python使用PIL缩放网络图片并保存的方法
Apr 24 Python
python爬虫之自动登录与验证码识别
Jun 15 Python
python 阶乘累加和的实例
Feb 01 Python
python实现飞行棋游戏
Feb 05 Python
Python打印特殊符号及对应编码解析
May 07 Python
Python 找出出现次数超过数组长度一半的元素实例
May 11 Python
python json.dumps() json.dump()的区别详解
Jul 14 Python
Ubuntu 20.04安装Pycharm2020.2及锁定到任务栏的问题(小白级操作)
Oct 29 Python
python time()的实例用法
Nov 03 Python
Django多数据库联用实现方法解析
Nov 12 Python
Python爬虫基础之爬虫的分类知识总结
May 13 Python
Python装饰器详细介绍
Mar 25 Python
Python使用filetype精确判断文件类型
Jul 02 #Python
使用python实现tcp自动重连
Jul 02 #Python
详解python3中socket套接字的编码问题解决
Jul 01 #Python
详解Python中for循环是如何工作的
Jun 30 #Python
python 连接sqlite及简单操作
Jun 30 #Python
利用Python破解斗地主残局详解
Jun 30 #Python
Python实现的文本编辑器功能示例
Jun 30 #Python
You might like
德生PL990,目前市面上唯一一款便携式插卡蓝牙全波段高性能收音机
2021/03/02 无线电
强烈推荐:php.ini中文版(2)
2006/10/09 PHP
也谈php网站在线人数统计
2008/04/09 PHP
PHP模板引擎Smarty的缓存使用总结
2014/04/24 PHP
Yii框架中使用PHPExcel的方法分析
2019/07/25 PHP
php获取微信openid方法总结
2019/10/10 PHP
学习ExtJS Window常用方法
2009/10/07 Javascript
JavaScript 操作键盘的Enter事件(键盘任何事件),兼容多浏览器
2010/10/11 Javascript
jquery 面包屑导航 具体实现
2013/06/05 Javascript
为jQuery添加Webkit的触摸的方法分享
2014/02/02 Javascript
javascript常用函数归纳整理
2014/10/31 Javascript
jQuery on()方法绑定动态元素的点击事件实例代码浅析
2016/06/16 Javascript
微信小程序 加载 app-service.js 错误解决方法
2016/10/12 Javascript
nodejs前端模板引擎swig入门详解
2018/05/15 NodeJs
Angular 2使用路由自定义弹出组件toast操作示例
2019/05/10 Javascript
微信小程序页面调用自定义组件内的事件详解
2019/09/12 Javascript
vue-router之解决addRoutes使用遇到的坑
2020/07/19 Javascript
浅谈Python的Django框架中的缓存控制
2015/07/24 Python
Python 中 list 的各项操作技巧
2017/04/13 Python
python遍历序列enumerate函数浅析
2017/10/17 Python
python 将数据保存为excel的xls格式(实例讲解)
2018/05/03 Python
使用Python进行防病毒免杀解析
2019/12/13 Python
tensorflow如何继续训练之前保存的模型实例
2020/01/21 Python
django 利用Q对象与F对象进行查询的实现
2020/05/15 Python
python爬取网易云音乐热歌榜实例代码
2020/08/07 Python
Python创建自己的加密货币的示例
2021/03/01 Python
优秀老师事迹材料
2014/02/05 职场文书
党员岗位承诺口号大全
2014/03/28 职场文书
新学期教师寄语
2014/04/02 职场文书
奥巴马当选演讲稿
2014/09/10 职场文书
学习党的群众路线剖析材料
2014/10/09 职场文书
2014年保险公司工作总结
2014/11/22 职场文书
2015年元旦联欢晚会活动总结
2014/11/28 职场文书
面试感谢信范文
2015/01/22 职场文书
python 中yaml文件用法大全
2021/07/04 Python
LyScript实现绕过反调试保护的示例详解
2022/08/14 Python