Python 虚拟环境工作原理解析


Posted in Python onDecember 24, 2020

Python 的虚拟环境用来创建一个相对独立的执行环境,尤其是一些依赖的三方包,最常见的如不同项目依赖同一个但是不同版本的三方包,而且,在虚拟环境中的安装包不会影响到系统的安装包。

不过,其具体的工作原理是怎样的,这里详细介绍。

简介

几乎每个语言都包含自己的包管理工具,这是一个非常复杂的话题,而不同语言选择的实现又略有区别,都会做一些选择和取舍。而 Python 的包管理解决方案很多,例如 pip、virtualenv、pyenv 等等。

不过 Python 语言本身的机制决定了其原理一样。

使用

比较常用的是 virtualenv 工具,可以参考 Guide to Python 中的详细介绍,另外,Python3 也提供了自己的虚拟环境创建模块,在创建完成后基本都是通过一个脚本启用独立环境。

例如,如下是使用 virtualenv 以及 venv 的虚拟环境创建过程。

$ mkdir /tmp/project && cd /tmp/project

$ virtualenv --no-site-packages foobar
$ python3 -m venv foobar

然后,就可以通过 source foobar/bin/activate 命令激活新环境。

激活脚本

所谓的独立环境,无非就是解决两个问题:A) 执行 Python 解析器所使用的版本;B) 使用独立的包。其中前者,在 Linux 主要是通过 PATH 环境变量设置,在 activate 脚本中有如下的内容。

VIRTUAL_ENV="/tmp/project/foobar"
export VIRTUAL_ENV

_OLD_VIRTUAL_PATH="$PATH"
PATH="$VIRTUAL_ENV/bin:$PATH"
export PATH

也就是将创建的目录添加到 PATH 环境变量最开始,那么就会优先查找该路径,这样就解决了 python 解析器独立的问题。

工作原理

如果要使用独立的包,那么关键就是如何在通过 import 导入时查找到所需的包。

包的查找顺序可以查看Python 模块简介 中的介绍,简单来说,就是先查看是否是内置模块,然后再从 sys.path 列表指定的地址中搜索。所以,这里的关键就是 sys.path 列表的生成。

关于 sys.prefix

在 Python 启动的时候,会先加载一个强依赖的 os.py 包,而查找这个包是根据解析器的当前路径,以及固定的查找规则来实现的。

简单来说,就是在当前路径加上 lib/python${VERSION}/os.py 逐层向上查找,注意,如果是 64 位的操作系统,那么会使用 lib64 替换掉之前的 lib 路径。

例如,默认的 Python3 的解析器路径为 /usr/bin/python3.6 ,那么基础路径是 /usr/bin/ ,所以,其查找顺序为。

/usr/bin/lib64/python3.6/os.py
/usr/lib64/python3.6/os.py
/lib64/python3.6/os.py

只要在任意路径上找到 os.py 包,那么就会退出查找,并设置好 sys.prefix 变量,详细可以通过 strace python 查看,会有如下的搜索路径。

stat("/usr/bin/Modules/Setup", 0x7fffb7146300) = -1 ENOENT (No such file or directory)
stat("/usr/bin/lib64/python2.7/os.py", 0x7fffb71462f0) = -1 ENOENT (No such file or directory)
stat("/usr/bin/lib64/python2.7/os.pyc", 0x7fffb71462f0) = -1 ENOENT (No such file or directory)
stat("/usr/lib64/python2.7/os.py", {st_mode=S_IFREG|0644, st_size=25910, ...}) = 0

在查找到 os.py 之后,会将该路径设置为 sys.prefix 变量,然后解析器就会到 ${sys.prefix}/lib/python${VERSION} 目录下查找包。

总结

那么其工作原理就是,将 python 解析器保存在 ${VENV_PATH}/bin/python ,然后创建 ${VENV_PATH}/lib/python${VERSION} 目录,并将相关的文件复制到该目录下,可以复制文件,也可以使用软连接。

其它

如上,如果是 Python3 就可以直接使用内置的 venv 模块,其原理与上述的相同,同时通过 pyvenv.cfg 配置文件来标识原始的 home 位置,该文件的内容如下。

home = /usr/bin
include-system-site-packages = false
version = 3.6.8

如果 include-system-site-packagestrue ,解释器启动时就会将系统的库添加到 sys.path 里面,这样在虚拟环境就可以 import 系统中安装的包了。

注意,Python3 提供的 venv 模块只能根据当前版本创建,不能支持 Python2 。

参考 Virtualenv 官方文档,细节可以参考该文档。

到此这篇关于Python 虚拟环境工作原理解析的文章就介绍到这了,更多相关Python 虚拟环境原理内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python sys.path详细介绍
Oct 17 Python
Python生成pdf文件的方法
Aug 04 Python
windows及linux环境下永久修改pip镜像源的方法
Nov 28 Python
pandas数据预处理之dataframe的groupby操作方法
Apr 13 Python
pycharm新建一个python工程步骤
Jul 16 Python
python求绝对值的三种方法小结
Dec 04 Python
如何配置关联Python 解释器 Anaconda的教程(图解)
Apr 30 Python
Python控制鼠标键盘代码实例
Dec 08 Python
解决pycharm安装scrapy DLL load failed:找不到指定的程序的问题
Jun 08 Python
python迷宫问题深度优先遍历实例
Jun 20 Python
再谈python_tkinter弹出对话框创建
Mar 20 Python
Python实现批量将文件复制到新的目录中再修改名称
Apr 12 Python
python基于openpyxl生成excel文件
Dec 23 #Python
Python+unittest+requests+excel实现接口自动化测试框架
Dec 23 #Python
用python计算文件的MD5值
Dec 23 #Python
python中lower函数实现方法及用法讲解
Dec 23 #Python
Python类型转换的魔术方法详解
Dec 23 #Python
python3 googletrans超时报错问题及翻译工具优化方案 附源码
Dec 23 #Python
python音频处理的示例详解
Dec 23 #Python
You might like
PHP连接MySQL的2种方法小结以及防止乱码
2014/03/11 PHP
分享一段php获取linux服务器状态的代码
2014/05/27 PHP
PHP 验证登陆类分享
2015/03/13 PHP
Laravel统计一段时间间隔的数据方法
2019/10/09 PHP
文本链接逐个出现的js脚本
2007/12/12 Javascript
Array.prototype.slice 使用扩展
2010/06/09 Javascript
passwordStrength 基于jquery的密码强度检测代码使用介绍
2011/10/08 Javascript
[原创]推荐10款最热门jQuery UI框架
2014/08/19 Javascript
jQuery中的pushStack实现原理和应用实例
2015/02/03 Javascript
JavaScript Sort 的一个错误用法示例
2015/03/20 Javascript
js生成验证码并直接在前端判断
2015/05/15 Javascript
ANGULARJS中使用JQUERY分页控件
2015/09/16 Javascript
基于jquery实现复选框全选,反选,全不选等功能
2015/10/16 Javascript
Angular中使用$watch监听object属性值的变化(详解)
2017/04/24 Javascript
微信小程序控制台提示warning:Now you can provide attr "wx:key" for a "wx:for" to improve performance解决方法
2019/02/21 Javascript
详解基于 Node.js 的轻量级云函数功能实现
2019/07/08 Javascript
JS实现json数组排序操作实例分析
2019/10/28 Javascript
在vue中给后台接口传的值为数组的格式代码
2020/11/12 Javascript
[03:43]TI9战队采访——PSG.LGD
2019/08/22 DOTA
python list 合并连接字符串的方法
2013/03/09 Python
Python中使用MELIAE分析程序内存占用实例
2015/02/18 Python
一些常用的Python爬虫技巧汇总
2016/09/28 Python
python中 logging的使用详解
2017/10/25 Python
python使用xslt提取网页数据的方法
2018/02/23 Python
致Python初学者 Anaconda入门使用指南完整版
2018/04/05 Python
python生成九宫格图片
2018/11/19 Python
挪威手表购物网站:Klokker
2016/09/19 全球购物
世界最大的票务市场:viagogo
2017/02/16 全球购物
美国婚戒购物网站:Anjays Designs
2017/06/28 全球购物
岗位廉洁从政承诺书
2014/03/27 职场文书
老人祝寿主持词
2014/03/28 职场文书
合作意向书模板
2014/03/31 职场文书
临床医学生职业规划书范文
2014/10/25 职场文书
建党伟业的观后感
2015/06/01 职场文书
高中美术教学反思
2016/02/17 职场文书
深入讲解数据库中Decimal类型的使用以及实现方法
2022/02/15 MySQL