python中模块查找的原理与方法详解


Posted in Python onAugust 11, 2017

前言

本文主要给大家介绍了关于python模块查找的原理与方式,分享出来供大家参考学习,下面话不多说,来一起看看详细的介绍:

基础概念

module

模块, 一个 py 文件或以其他文件形式存在的可被导入的就是一个模块

package

包,包含有 __init__ 文件的文件夹

relative path

相对路径,相对于某个目录的路径

absolute path

绝对路径,全路径

路径查找

python 解释器查找被引入的包或模块

Python 解释器是如何查找包和模块的

Python 执行一个 py 文件,无论执行的方式是用绝对路径还是相对路径,interpreter 都会把文件所在的 directory 加入 sys.path 这个 list 中,Python 就是在 sys.path 中查找包和模块的,sys.path 中的内容本身又是又 Python 的环境变量决定。

code-1

#test.py
import os
import sys
print sys.path[0]
# execute
python test.py
python /Users/x/workspace/blog-code/p2016_05_28_python_path_find/test.py

执行表明相对路径和绝对路径都输出相同的结果,而且无论哪种执行方式,test.py 所在的文件夹都会被加入 sys.path 的首位,也就是索引为0的位置。

Python 解释器查找包的顺序是什么

解释器查找包,首先搜索 built-in module,其次搜索 sys.path ,这样的查找顺序将会导致同名包或模块被遮蔽。

code-2

#ls
├── os.py
├── test2.py
├── redis.py
#test2.py
import os
from redis import Redis
#execute test2.py
Traceback (most recent call last):
 File "/Users/x/workspace/blog-code/p2016_05_28_python_path_find/test2.py", line 1, in <module>
 from redis import Redis
ImportError: cannot import name Redis

由于 os 是 built-in module,即使在同目录下有同名模块,解释器依然可以找到正确的 os 模块,可以证实 built-in module 不会被遮蔽,而 redis 属于第三方模块,默认安装位置是 Python 环境变量中的 site-packages,解释器启动之后会将此目录中的内容加入 sys.path,由于当前目录会在 sys.path 的首位,当前目录的 redis 优先被找到,site-packages 中的 redis 模块被遮蔽了。

交互式执行环境的查找顺序

进入交互式执行环境,解释器会自动把当前目录加入 sys.path, 这时当前目录是以相对路径的形式出现在 sys.path 中:

>>> import os.path
>>> import sys
>>> os.path.abspath(sys.path[0])
'/Users/x/workspace/blog-code'
>>>

除此之外,其他与执行一个文件是相同的。

模块中的 __file__ 变量

__file__ is the pathname of the file from which the module was loaded, if it was loaded from a file. 如果一个模块是从文件加载的,__file__ 就是该模块的路径名?Python Doc:

顾名思义,当模块以文件的形式出现 __file__ 指的是模块文件的路径名,以相对路径执行 __file__ 是相对路径,以绝对路径执行 __file__ 是绝对路径。

#test3.py
print __file__
#相对路径执行
python test3.py
test3.py
#绝对路径执行
python /Users/x/workspace/blog-code/p2016_05_28_python_path_find/test3.py
/Users/x/workspace/blog-code/p2016_05_28_python_path_find/test3.py

为了保证__file__ 每次都能准确得到模块的正确位置,最好对其再取一次绝对路径 os.path.abspath(__file__)

交互式 shell 中的 __file__

>>> __file__
Traceback (most recent call last):
 File "<input>", line 1, in <module>
NameError: name '__file__' is not defined

这是因为当前交互式shell的执行并不是以文件的形式加载,所以不存在__file__ 这样的属性。

sys.argv[0] 变量

sys.argv[0] 是它用来获取主入口执行文件。

#test.py
import sys
print __file__
print sys.argv[0]

以上 print 输出相同的结果,因为主执行文件和__file__所属的模块是同一个,当我们改变入口文件,区别就出现了。

#test.py
import sys
print __file__
print sys.argv[0]
#test2.py
import test
#execute test2.py
/Users/x/workspace/blog-code/p2016_05_28_python_path_find/child/test.py #__file__
test2.py #sys.argv[0]

总的来说,sys.argv[0] 是获得入口执行文件路径,__file__ 是获得任意模块文件的路径。

sys.modules 的作用

既然 Python 是在 sys.path 中搜索模块的,那载入的模块存放在何处?答案就是 sys.modules。模块一经载入,Python 会把这个模块加入 sys.modules 中供下次载入使用,这样可以加速模块的引入,起到缓存的作用。

>>> import sys
>>> sys.modules['tornado']
Traceback (most recent call last):
 File "<input>", line 1, in <module>
KeyError: 'tornado'
>>> import tornado
>>> sys.modules['tornado']
<module 'tornado' from '/Users/x/python_dev/lib/python2.7/site-packages/tornado/__init__.pyc'>

前面说过 Python 解释器启动之后,会把预先载入 built-in module,可以通过 sys.modules 验证。

>>> sys.modules['os']
<module 'os' from '/Users/x/python_dev/lib/python2.7/os.pyc'>
>>>

借助 sys.modules 和 __file__,可以动态获取所有已加载模块目录和路径。

>>> import os
>>> os.path.realpath(sys.modules['os'].__file__)
'/Users/x/python_dev/lib/python2.7/os.pyc'
>>> import tornado
>>> os.path.realpath(sys.modules['tornado'].__file__)
'/Users/x/python_dev/lib/python2.7/site-packages/tornado/__init__.pyc'
def get_module_dir(name):
 path = getattr(sys.modules[name], '__file__', None)
 if not path
 raise AttributeError('module %s has not attribute __file__'%name)
 return os.path.dirname(os.path.abspath(path))

summary

总的来说,Python 是通过查找 sys.path 来决定包的导入,并且系统包优先级>同目录>sys.path,Python 中的特有属性 __file__ 以及 sys.argv[0]sys.modules 都能帮助我们理解包的查找和导入概念,只要能正确理解 sys.path 的作用和行为,理解包的查找就不是难题了。

文中所有代码见:github

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python中的实例方法、静态方法、类方法、类变量和实例变量浅析
Apr 26 Python
Python实现登录人人网并抓取新鲜事的方法
May 11 Python
Python 基础教程之包和类的用法
Feb 23 Python
Python操作MySQL模拟银行转账
Mar 12 Python
python3处理含有中文的url方法
May 10 Python
Python如何爬取实时变化的WebSocket数据的方法
Mar 09 Python
keras获得model中某一层的某一个Tensor的输出维度教程
Jan 24 Python
如何理解Python中的变量
Jun 01 Python
Python常驻任务实现接收外界参数代码解析
Jul 21 Python
哪种Python框架适合你?简单介绍几种主流Python框架
Aug 04 Python
python 中的命名空间,你真的了解吗?
Aug 19 Python
Django基于Models定制Admin后台实现过程解析
Nov 11 Python
python利用lxml读写xml格式的文件
Aug 10 #Python
Python编程实现及时获取新邮件的方法示例
Aug 10 #Python
Python中函数eval和ast.literal_eval的区别详解
Aug 10 #Python
Python基础之getpass模块详细介绍
Aug 10 #Python
Python中字典(dict)合并的四种方法总结
Aug 10 #Python
详解Python 模拟实现生产者消费者模式的实例
Aug 10 #Python
Python 操作文件的基本方法总结
Aug 10 #Python
You might like
php数组函数序列之array_values() 获取数组元素值的函数与方法
2011/10/30 PHP
php使用正则表达式获取图片url的方法
2015/01/16 PHP
PHP类的特性实例分析
2016/09/28 PHP
php mysql PDO 查询操作的实例详解
2017/09/23 PHP
Yii框架连表查询操作示例
2019/09/06 PHP
JavaScript的面向对象(二)
2006/11/09 Javascript
JavaScript中的类(Class)详细介绍
2014/12/30 Javascript
初步认识JavaScript函数库jQuery
2015/06/18 Javascript
jQuery焦点图切换特效代码分享
2015/09/15 Javascript
原生javascript实现图片放大镜效果
2017/01/18 Javascript
webpack学习教程之前端性能优化总结
2017/12/05 Javascript
vue 父组件调用子组件方法及事件
2018/03/29 Javascript
微信小程序学习笔记之目录结构、基本配置图文详解
2019/03/28 Javascript
详解mpvue中使用vant时需要注意的onChange事件的坑
2019/05/16 Javascript
原生JS利用transform实现banner的无限滚动示例代码
2020/06/15 Javascript
在vue中使用Base64转码的案例
2020/08/07 Javascript
[01:53]2016完美“圣”典风云人物:Maybe专访
2016/12/05 DOTA
[01:00:30]完美世界DOTA2联赛循环赛 Inki vs Matador BO2第二场 10.31
2020/11/02 DOTA
Python常用的日期时间处理方法示例
2015/02/08 Python
详解Python中的__getitem__方法与slice对象的切片操作
2016/06/27 Python
Python入门_浅谈逻辑判断与运算符
2017/05/16 Python
python替换字符串中的子串图文步骤
2019/06/19 Python
Pytorch修改ResNet模型全连接层进行直接训练实例
2019/09/10 Python
Python matplotlib以日期为x轴作图代码实例
2019/11/22 Python
django orm模块中的 is_delete用法
2020/05/20 Python
python实现简单的五子棋游戏
2020/09/01 Python
css3与html5实现响应式导航菜单(导航栏)效果分享
2014/02/12 HTML / CSS
JavaScript+Canvas实现自定义画板的示例代码
2019/05/13 HTML / CSS
Sephora丝芙兰马来西亚官方网站:国际化妆品购物
2018/03/15 全球购物
加热夹克:RAVEAN
2018/10/19 全球购物
优秀教师工作感言
2014/02/16 职场文书
春节联欢晚会主持词范文
2014/03/24 职场文书
2015年七夕情人节活动方案
2015/05/06 职场文书
新郎父亲婚礼致辞
2015/07/27 职场文书
JS数组的常用方法整理
2021/03/31 Javascript
使用qt quick-ListView仿微信好友列表和聊天列表的示例代码
2021/06/13 Python