Python 实现自动导入缺失的库


Posted in Python onOctober 29, 2019

在写 Python 项目的时候,我们可能经常会遇到导入模块失败的错误:ImportError: No module named 'xxx' 或者 ModuleNotFoundError: No module named 'xxx' 。

导入失败问题,通常分为两种:一种是导入自己写的模块(即以 .py 为后缀的文件),另一种是导入三方库。本文主要讨论第二种情况,今后有机会,我们再详细讨论其它的相关话题。

解决导入 Python 库失败的问题,其实关键是在运行环境中装上缺失的库(注意是否是虚拟环境),或者使用恰当的替代方案。这个问题又分为三种情况:

一、单个模块中缺失的库

在编写代码的时候,如果我们需要使用某个三方库(如 requests),但不确定实际运行的环境是否装了它,那么可以这样写:

try:
  import requests
except ImportError:
  import os
  os.system('pip install requests')
  import requests

这样写的效果是,如果找不到 requests 库,就先安装,再导入。

在某些开源项目中,我们可能还会看到如下的写法(以 json 为例):

try:
  import simplejson as json
except ImportError:
  import json

这样写的效果是,优先导入三方库 simplejson,如果找不到,那就使用内置的标准库 json。

这种写法的好处是不需要导入额外的库,但它有个缺点,即需要保证那两个库在使用上是兼容的,如果在标准库中找不到替代的库,那就不可行了。

如果真找不到兼容的标准库,也可以自己写一个模块(如 my_json.py),实现想要的东西,然后在 except 语句中再导入它。

try:
  import simplejson as json
except ImportError:
  import my_json as json

二、整个项目中缺失的库

以上的思路是针对开发中的项目,但是它有几个不足:1、在代码中对每个可能缺失的三方库都 pip install,并不可取;2、某个三方库无法被标准库或自己手写的库替代,该怎么办?3、已成型的项目,不允许做这些修改怎么办?

所以这里的问题是:有一个项目,想要部署到新的机器上,它涉及很多三方库,但是机器上都没有预装,该怎么办?

对于一个合规的项目,按照约定,通常它会包含一个“requirements.txt ”文件,记录了该项目的所有依赖库及其所需的版本号。这是在项目发布前,使用命令pip freeze > requirements.txt 生成的。

使用命令pip install -r requirements.txt (在该文件所在目录执行,或在命令中写全文件的路径),就能自动把所有的依赖库给装上。

但是,如果项目不合规,或者由于其它倒霉的原因,我们没有这样的文件,又该如何是好?

一个笨方法就是,把项目跑起来,等它出错,遇到一个导库失败,就手动装一个,然后再跑一遍项目,遇到导库失败就装一下,如此循环……(此处省略 1 万句脏话)……

Python 实现自动导入缺失的库

三、自动导入任意缺失的库

有没有一种更好的可以自动导入缺失的库的方法呢?

在不修改原有的代码的情况下,在不需要“requirements.txt”文件的情况下,有没有办法自动导入所需要的库呢?

当然有!先看看效果:

Python 实现自动导入缺失的库

我们以 tornado 为例,第一步操作可看出,我们没有装过 tornado,经过第二步操作后,再次导入 tornado 时,程序会帮我们自动下载并安装好 tornado,所以不再报错。

autoinstall 是我们手写的模块,代码如下:

# 以下代码在 python 3.6.1 版本验证通过
import sys
import os
from importlib import import_module
class AutoInstall():
  _loaded = set()
  @classmethod
  def find_spec(cls, name, path, target=None):
      if path is None and name not in cls._loaded:
        cls._loaded.add(name)
        print("Installing", name)
        try:
          result = os.system('pip install {}'.format(name))
          if result == 0:
            return import_module(name)
        except Exception as e:
          print("Failed", e)
      return None

sys.meta_path.append(AutoInstall)

这段代码中使用了sys.meta_path ,我们先打印一下,看看它是个什么东西?

Python 实现自动导入缺失的库

Python 3 的 import 机制在查找过程中,大致顺序如下:

  1. 在 sys.modules 中查找,它缓存了所有已导入的模块
  2. 在 sys.meta_path 中查找,它支持自定义的加载器
  3. 在 sys.path 中查找,它记录了一些库所在的目录名

若未找到,则抛出 ImportError 异常

其中要注意,sys.meta_path 在不同的 Python 版本中有所差异,比如它在 Python 2 与 Python 3 中差异很大;在较新的 Python 3 版本(3.4+)中,自定义的加载器需要实现find_spec 方法,而早期的版本用的则是find_module 。

Python 实现自动导入缺失的库

以上代码是一个自定义的类库加载器 AutoInstall,可以实现自动导入三方库的目的。需要说明一下,这种方法会“劫持”所有新导入的库,破坏原有的导入方式,因此也可能出现一些奇奇怪怪的问题,敬请留意。

sys.meta_path 属于 Python 探针的一种运用。探针,即import hook,是 Python 几乎不受人关注的机制,但它可以做很多事,例如加载网络上的库、在导入模块时对模块进行修改、自动安装缺失库、上传审计信息、延迟加载等等。

限于篇幅,我们不再详细展开了。最后小结一下:

  • 可以用 try...except 方式,实现简单的三方库导入或者替换
  • 已知全部缺失的依赖库时(如 requirements.txt),可以手动安装
  • 利用 sys.meta_path,可以自动导入任意的缺失库

参考资料:

https://github.com/liuchang0812/slides/tree/master/pycon2015cn

http://blog.konghy.cn/2016/10/25/python-import-hook/

https://docs.python.org/3/library/sys.html#sys.meta_path

总结

以上所述是小编给大家介绍的Python 实现自动导入缺失的库,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python随手笔记第一篇(2)之初识列表和元组
Jan 23 Python
Python内建数据结构详解
Feb 03 Python
Python和JavaScript间代码转换的4个工具
Feb 22 Python
Python实现的微信公众号群发图片与文本消息功能实例详解
Jun 30 Python
Python内存管理方式和垃圾回收算法解析
Nov 11 Python
python3的输入方式及多组输入方法
Oct 17 Python
python爬虫-模拟微博登录功能
Sep 12 Python
python图片剪裁代码(图片按四个点坐标剪裁)
Mar 10 Python
python实现超级马里奥
Mar 18 Python
详解Python的爬虫框架 Scrapy
Aug 03 Python
python 基于PYMYSQL使用MYSQL数据库
Dec 24 Python
python+playwright微软自动化工具的使用
Feb 02 Python
python实现的读取网页并分词功能示例
Oct 29 #Python
python实现LRU热点缓存及原理
Oct 29 #Python
Python 中的 import 机制之实现远程导入模块
Oct 29 #Python
Centos7 下安装最新的python3.8
Oct 28 #Python
Python any()函数的使用方法
Oct 28 #Python
PYTHON发送邮件YAGMAIL的简单实现解析
Oct 28 #Python
详解如何用python实现一个简单下载器的服务端和客户端
Oct 28 #Python
You might like
杏林同学录(一)
2006/10/09 PHP
php设计模式之单例、多例设计模式的应用分析
2013/06/30 PHP
phpinfo无法显示的原因及解决办法
2019/02/15 PHP
一个js写的日历(代码部分网摘)
2009/09/20 Javascript
jQuery中filter(),not(),split()使用方法
2010/07/06 Javascript
初学Jquery插件制作 在SageCRM的查询屏幕隐藏部分行的功能
2011/12/26 Javascript
js触发asp.net的Button的Onclick事件应用
2013/02/02 Javascript
使用JS 清空File控件的路径值
2013/07/08 Javascript
JQuery插件iScroll实现下拉刷新,滚动翻页特效
2014/06/22 Javascript
Node.js实现批量去除BOM文件头
2014/12/20 Javascript
js模式化窗口问题![window.dialogArguments]
2016/10/30 Javascript
jQuery Plupload上传插件的使用
2017/04/19 jQuery
JavaScript仿微信(电话)联系人列表滑动字母索引实例讲解(推荐)
2017/08/16 Javascript
微信小程序手机号码验证功能的实例代码
2018/08/28 Javascript
WebGL学习教程之Three.js学习笔记(第一篇)
2019/04/25 Javascript
Python显示进度条的方法
2014/09/20 Python
在Apache服务器上同时运行多个Django程序的方法
2015/07/22 Python
Python开发之快速搭建自动回复微信公众号功能
2016/04/22 Python
Python时间的精准正则匹配方法分析
2017/08/17 Python
python实现决策树
2017/12/21 Python
python使用paramiko模块通过ssh2协议对交换机进行配置的方法
2019/07/25 Python
python matplotlib库绘制散点图例题解析
2019/08/10 Python
python3 map函数和filter函数详解
2019/08/26 Python
Anaconda和ipython环境适配的实现
2020/04/22 Python
Python自定义聚合函数merge与transform区别详解
2020/05/26 Python
python实现图像外边界跟踪操作
2020/07/13 Python
HTML5 canvas基本绘图之绘制曲线
2016/06/27 HTML / CSS
美术专业学生个人自我评价
2013/09/19 职场文书
职业生涯规划怎么写
2013/12/29 职场文书
写演讲稿要注意的六件事
2014/01/14 职场文书
大班幼儿评语大全
2014/04/30 职场文书
禁烟标语大全
2014/06/11 职场文书
法定代表人身份证明书
2014/09/10 职场文书
2014年社区工作总结
2014/11/18 职场文书
追悼会悼词大全
2015/06/23 职场文书
python语言中pandas字符串分割str.split()函数
2022/08/05 Python