Python 依赖库太多了该如何管理


Posted in Python onNovember 08, 2019

在 Python 的项目中,如何管理所用的全部依赖库呢?最主流的做法是维护一份“requirements.txt”,记录下依赖库的名字及其版本号。

那么,如何来生成这份文件呢?在上篇文章《由浅入深:Python 中如何实现自动导入缺失的库?》中,我提到了一种常规的方法:

pip freeze 
>
 requirements
.
txt

这种方法用起来方便,但有几点不足:

  • 它搜索依赖库的范围是全局环境,因此会把项目之外的库加入进来,造成冗余(一般是在虚拟环境中使用,但还是可能包含无关的依赖库)
  • 它只会记录以“pip install”方式安装的库
  • 它对依赖库之间的依赖关系不做区分
  • 它无法判断版本差异及循环依赖等情况

…………

可用于项目依赖管理的工具有很多,本文主要围绕与 requirements.txt 文件相关的、比较相似却又各具特色的 4 个三方库,简要介绍它们的使用方法,罗列一些显著的功能点。至于哪个是最好的管理方案呢?卖个关子,请往下看……

pipreqs

这是个很受欢迎的用于管理项目中依赖库的工具,可以用“pip install pipreqs”命令来安装。它的主要特点有:

  • 搜索依赖库的范围是基于目录的方式,很有针对性
  • 搜索的依据是脚本中所 import 的内容
  • 可以在未安装依赖库的环境上生成依赖文件
  • 查找软件包信息时,可以指定查询方式(只在本地查询、在 PyPi 查询、或者在自定义的 PyPi 服务)

基本的命令选项如下:

Usage
:

 pipreqs 
[
options
]
 
<path>



Options
:

 
--
use
-
local
   
Use
 ONLY 
local
 
package
 info instead of querying 
PyPI

 
--
pypi
-
server 
<url>
 
Use
 custom 
PyPi
 server

 
--
proxy 
<url>
   
Use
 
Proxy
,
 parameter will be passed to requests library
.
 
You
 can also just 
set
 the

       environments parameter 
in
 your terminal
:

       $ 
export
 HTTP_PROXY
=
"http://10.10.1.10:3128"

       $ 
export
 HTTPS_PROXY
=
"https://10.10.1.10:1080"

 
--
debug    
Print
 debug information

 
--
ignore 
<dirs>
...
 
Ignore
 extra directories

 
--
encoding 
<charset>
 
Use
 encoding parameter 
for
 file open

 
--
savepath 
<file>
  
Save
 the list of requirements 
in
 the given file

 
--
print
    
Output
 the list of requirements 
in
 the standard output

 
--
force    
Overwrite
 existing requirements
.
txt

 
--
diff 
<file>
   
Compare
 modules 
in
 requirements
.
txt to project imports
.

 
--
clean 
<file>
  
Clean
 up requirements
.
txt 
by
 removing modules that are 
not
 imported 
in
 project
.

其中需注意,很可能遇到编码错误:UnicodeDecodeError:'gbk'codec can't decode byte 0xae in。需要指定编码格式“--encoding=utf8”。

在已生成依赖文件“requirements.txt”的情况下,它可以强行覆盖、比对差异以及清除不再使用的依赖项。

pigar

pigar 同样可以根据项目路径来生成依赖文件,而且会列出依赖库在文件中哪些位置使用到了。这个功能充分利用了 requirements.txt 文件中的注释,可以提供很丰富的信息。

Python 依赖库太多了该如何管理

pigar 对于查询真实的导入源很有帮助,例如 bs4 模块来自 beautifulsoup4 库, MySQLdb 则来自于 MySQL_Python 库。可以通过“-s”参数,查找真实的依赖库。

$ pigar 
-
s bs4 
MySQLdb

它使用解析 AST 的方式,而非正则表达式的方式,可以很方便地从 exec/eval 的参数、文档字符串的文档测试中提取出依赖库。

另外,它对于不同 Python 版本的差异可以很好地支持。例如, concurrent.futures 是 Python 3.2+ 的标准库,而在之前早期版本中,需要安装三方库 futures ,才能使用它。pigar 做到了有效地识别区分。(PS:pipreqs 也支持这个识别,详见这个合入:https://github.com/bndr/pipreqs/pull/80)

pip-tools

pip-tools 包含一组管理项目依赖的工具:pip-compile 与 pip-sync,可以使用命令“pip install pip-tools”统一安装。它最大的优势是可以精准地控制项目的依赖库。

两个工具的用途及关系图如下:

Python 依赖库太多了该如何管理

pip-compile 命令主要用于生成依赖文件和升级依赖库,另外它可以支持 pip 的“Hash-Checking Mode ”,并支持在一个依赖文件中嵌套其它的依赖文件(例如,在 requirements.in 文件内,可以用“-c requirements.txt”方式,引入一个依赖文件)。

它可以根据 setup.py 文件来生成 requirements.txt,假如一个 Flask 项目的 setup.py 文件中写了“install_requires=['Flask']”,那么可以用命令来生成它的所有依赖:

$ pip
-
compile
#
# This file is autogenerated by pip-compile
# To update, run:
#
# pip-compile --output-file requirements.txt setup.py
#
click
==
6.7
# via flask
flask
==
0.12
.
2
itsdangerous
==
0.24
# via flask
jinja2
==
2.9
.
6
# via flask
markupsafe
==
1.0
# via jinja2
werkzeug
==
0.12
.
2
# via flask

在不使用 setup.py 文件的情况下,可以创建“requirements.in”,在里面写入“Flask”,再执行“pip-compile requirements.in”,可以达到跟前面一样的效果。

pip-sync 命令可以根据 requirements.txt 文件,来对虚拟环境中进行安装、升级或卸载依赖库(注意:除了 setuptools、pip 和 pip-tools 之外)。这样可以有针对性且按需精简地管理虚拟环境中的依赖库。

另外,该命令可以将多个“*.txt”依赖文件归并成一个:

$ pip-sync dev-requirements.txt requirements.txt

pipdeptree

它的主要用途是展示 Python 项目的依赖树,通过有层次的缩进格式,显示它们的依赖关系,不像前面那些工具只会生成扁平的并列关系。

Python 依赖库太多了该如何管理

除此之外,它还可以:

  • 生成普遍适用的 requirements.txt 文件
  • 逆向查找某个依赖库是怎么引入进来的
  • 提示出相互冲突的依赖库
  • 可以发现循环依赖,进行告警
  • 生成多种格式的依赖树文件(json、graph、pdf、png等等)

它也有缺点,比如无法穿透虚拟环境。如果要在虚拟环境中工作,必须在该虚拟环境中安装 pipdeptree。因为跨虚拟环境会出现重复或冲突等情况,因此需要限定虚拟环境。但是每个虚拟环境都安装一个 pipdeptree,还是挺让人难受的。

好啦,4 种库介绍完毕,它们的核心功能都是分析依赖库,生成 requirements.txt 文件,同时,它们又具有一些差异,补齐了传统的 pip 的某些不足。

本文不对它们作全面的测评,只是选取了一些主要特性进行介绍,好在它们安装方便(pip install xxx),使用也简单,感兴趣的同学不妨一试。

更多丰富的细节,请查阅官方文档:

https://github.com/bndr/pipreqs

https://github.com/damnever/pigar

https://github.com/jazzband/pip-tools

https://github.com/naiquevin/pipdeptree

总结

以上所述是小编给大家介绍的Python 依赖库太多了该怎么管理,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python实现FTP上传文件或文件夹实例(递归)
Jan 16 Python
Python简单读取json文件功能示例
Nov 30 Python
Python使用Turtle模块绘制五星红旗代码示例
Dec 11 Python
Python基于高斯消元法计算线性方程组示例
Jan 17 Python
使用python爬虫获取黄金价格的核心代码
Jun 13 Python
通过pykafka接收Kafka消息队列的方法
Dec 27 Python
Python中使用遍历在列表中添加字典遇到的坑
Feb 27 Python
python创建学生成绩管理系统
Nov 22 Python
Flask中endpoint的理解(小结)
Dec 11 Python
关于tf.reverse_sequence()简述
Jan 20 Python
python随机生成大小写字母数字混合密码(仅20行代码)
Feb 01 Python
Django 如何使用日期时间选择器规范用户的时间输入示例代码详解
May 22 Python
python+OpenCV实现车牌号码识别
Nov 08 #Python
python实现飞机大战小游戏
Nov 08 #Python
python 基于dlib库的人脸检测的实现
Nov 08 #Python
numpy数组做图片拼接的实现(concatenate、vstack、hstack)
Nov 08 #Python
python实现身份证实名认证的方法实例
Nov 08 #Python
Python Django框架模板渲染功能示例
Nov 08 #Python
Python Django中间件,中间件函数,全局异常处理操作示例
Nov 08 #Python
You might like
新手配置 PHP 调试环境(IIS+PHP+MYSQL)
2007/01/10 PHP
PHP 中的批处理的实现
2007/06/14 PHP
PHP设计模式之命令模式的深入解析
2013/06/13 PHP
解析PHP中常见的mongodb查询操作
2013/06/20 PHP
destoon利用Rewrite规则设置网站安全
2014/06/21 PHP
2款PHP无限级分类实例代码
2015/11/11 PHP
javascript中使用replaceAll()函数实现字符替换的方法
2010/12/25 Javascript
javascript smipleChart 简单图标类
2011/01/12 Javascript
11个用于提高排版水平的基于jquery的文字效果插件
2012/09/14 Javascript
js实现适用于素材网站的黑色多级菜单导航条效果
2015/08/24 Javascript
js中javascript:void(0) 真正含义
2020/11/05 Javascript
jquery实现的简单二级菜单效果代码
2015/09/22 Javascript
关于Vue.js 2.0的Vuex 2.0 你需要更新的知识库
2016/11/30 Javascript
jsonp跨域请求实现示例
2017/03/13 Javascript
Express系列之multer上传的使用
2017/10/27 Javascript
简单介绍react redux的中间件的使用
2018/04/06 Javascript
vue后台管理之动态加载路由的方法
2018/08/13 Javascript
mpvue微信小程序开发之实现一个弹幕评论
2019/11/24 Javascript
js+canvas实现转盘效果(两个版本)
2020/09/13 Javascript
[26:21]浴火之凤-TI4世界冠军Newbee战队纪录片
2014/08/07 DOTA
[01:01:29]2018DOTA2亚洲邀请赛 4.4 淘汰赛 VP vs Liquid 第一场
2018/04/05 DOTA
用PyInstaller把Python代码打包成单个独立的exe可执行文件
2018/05/26 Python
用python脚本24小时刷浏览器的访问量方法
2018/12/07 Python
Python 函数绘图及函数图像微分与积分
2019/11/20 Python
Python如何根据时间序列数据作图
2020/05/12 Python
澳大利亚冲浪和时尚服装网上购物:SurfStitch
2017/07/29 全球购物
新西兰演唱会和体育门票网站:Ticketmaster新西兰
2017/10/07 全球购物
台湾7-ELEVEN线上购物中心:7-11
2021/01/21 全球购物
分别介绍一下Session Bean和Entity Bean
2015/03/13 面试题
2014年党员公开承诺践诺书
2014/03/25 职场文书
八项规定整改方案
2014/10/01 职场文书
优秀班主任主要事迹材料
2014/12/16 职场文书
2014年房地产个人工作总结
2014/12/20 职场文书
争先创优个人总结
2015/03/04 职场文书
节约用电倡议书
2015/04/28 职场文书
《时代广场的蟋蟀》读后感:真挚友情,温暖世界!
2020/01/08 职场文书