Python 实现自动导入缺失的库


Posted in Python onOctober 29, 2019

在写 Python 项目的时候,我们可能经常会遇到导入模块失败的错误:ImportError: No module named 'xxx' 或者 ModuleNotFoundError: No module named 'xxx' 。

导入失败问题,通常分为两种:一种是导入自己写的模块(即以 .py 为后缀的文件),另一种是导入三方库。本文主要讨论第二种情况,今后有机会,我们再详细讨论其它的相关话题。

解决导入 Python 库失败的问题,其实关键是在运行环境中装上缺失的库(注意是否是虚拟环境),或者使用恰当的替代方案。这个问题又分为三种情况:

一、单个模块中缺失的库

在编写代码的时候,如果我们需要使用某个三方库(如 requests),但不确定实际运行的环境是否装了它,那么可以这样写:

try:
  import requests
except ImportError:
  import os
  os.system('pip install requests')
  import requests

这样写的效果是,如果找不到 requests 库,就先安装,再导入。

在某些开源项目中,我们可能还会看到如下的写法(以 json 为例):

try:
  import simplejson as json
except ImportError:
  import json

这样写的效果是,优先导入三方库 simplejson,如果找不到,那就使用内置的标准库 json。

这种写法的好处是不需要导入额外的库,但它有个缺点,即需要保证那两个库在使用上是兼容的,如果在标准库中找不到替代的库,那就不可行了。

如果真找不到兼容的标准库,也可以自己写一个模块(如 my_json.py),实现想要的东西,然后在 except 语句中再导入它。

try:
  import simplejson as json
except ImportError:
  import my_json as json

二、整个项目中缺失的库

以上的思路是针对开发中的项目,但是它有几个不足:1、在代码中对每个可能缺失的三方库都 pip install,并不可取;2、某个三方库无法被标准库或自己手写的库替代,该怎么办?3、已成型的项目,不允许做这些修改怎么办?

所以这里的问题是:有一个项目,想要部署到新的机器上,它涉及很多三方库,但是机器上都没有预装,该怎么办?

对于一个合规的项目,按照约定,通常它会包含一个“requirements.txt ”文件,记录了该项目的所有依赖库及其所需的版本号。这是在项目发布前,使用命令pip freeze > requirements.txt 生成的。

使用命令pip install -r requirements.txt (在该文件所在目录执行,或在命令中写全文件的路径),就能自动把所有的依赖库给装上。

但是,如果项目不合规,或者由于其它倒霉的原因,我们没有这样的文件,又该如何是好?

一个笨方法就是,把项目跑起来,等它出错,遇到一个导库失败,就手动装一个,然后再跑一遍项目,遇到导库失败就装一下,如此循环……(此处省略 1 万句脏话)……

Python 实现自动导入缺失的库

三、自动导入任意缺失的库

有没有一种更好的可以自动导入缺失的库的方法呢?

在不修改原有的代码的情况下,在不需要“requirements.txt”文件的情况下,有没有办法自动导入所需要的库呢?

当然有!先看看效果:

Python 实现自动导入缺失的库

我们以 tornado 为例,第一步操作可看出,我们没有装过 tornado,经过第二步操作后,再次导入 tornado 时,程序会帮我们自动下载并安装好 tornado,所以不再报错。

autoinstall 是我们手写的模块,代码如下:

# 以下代码在 python 3.6.1 版本验证通过
import sys
import os
from importlib import import_module
class AutoInstall():
  _loaded = set()
  @classmethod
  def find_spec(cls, name, path, target=None):
      if path is None and name not in cls._loaded:
        cls._loaded.add(name)
        print("Installing", name)
        try:
          result = os.system('pip install {}'.format(name))
          if result == 0:
            return import_module(name)
        except Exception as e:
          print("Failed", e)
      return None

sys.meta_path.append(AutoInstall)

这段代码中使用了sys.meta_path ,我们先打印一下,看看它是个什么东西?

Python 实现自动导入缺失的库

Python 3 的 import 机制在查找过程中,大致顺序如下:

  1. 在 sys.modules 中查找,它缓存了所有已导入的模块
  2. 在 sys.meta_path 中查找,它支持自定义的加载器
  3. 在 sys.path 中查找,它记录了一些库所在的目录名

若未找到,则抛出 ImportError 异常

其中要注意,sys.meta_path 在不同的 Python 版本中有所差异,比如它在 Python 2 与 Python 3 中差异很大;在较新的 Python 3 版本(3.4+)中,自定义的加载器需要实现find_spec 方法,而早期的版本用的则是find_module 。

Python 实现自动导入缺失的库

以上代码是一个自定义的类库加载器 AutoInstall,可以实现自动导入三方库的目的。需要说明一下,这种方法会“劫持”所有新导入的库,破坏原有的导入方式,因此也可能出现一些奇奇怪怪的问题,敬请留意。

sys.meta_path 属于 Python 探针的一种运用。探针,即import hook,是 Python 几乎不受人关注的机制,但它可以做很多事,例如加载网络上的库、在导入模块时对模块进行修改、自动安装缺失库、上传审计信息、延迟加载等等。

限于篇幅,我们不再详细展开了。最后小结一下:

  • 可以用 try...except 方式,实现简单的三方库导入或者替换
  • 已知全部缺失的依赖库时(如 requirements.txt),可以手动安装
  • 利用 sys.meta_path,可以自动导入任意的缺失库

参考资料:

https://github.com/liuchang0812/slides/tree/master/pycon2015cn

http://blog.konghy.cn/2016/10/25/python-import-hook/

https://docs.python.org/3/library/sys.html#sys.meta_path

总结

以上所述是小编给大家介绍的Python 实现自动导入缺失的库,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python实现备份目录的方法
Aug 03 Python
读取本地json文件,解析json(实例讲解)
Dec 06 Python
Django实现组合搜索的方法示例
Jan 23 Python
Python3结合Dlib实现人脸识别和剪切
Jan 24 Python
Python数据分析之双色球中蓝红球分析统计示例
Feb 03 Python
Python简单过滤字母和数字的方法小结
Jan 09 Python
pyqt5 使用cv2 显示图片,摄像头的实例
Jun 27 Python
python 寻找离散序列极值点的方法
Jul 10 Python
Python3将jpg转为pdf文件的方法示例
Dec 13 Python
基于Python的OCR实现示例
Apr 03 Python
再也不用花钱买漫画!Python爬取某漫画的脚本及源码
Jun 09 Python
Python+Selenium自动化环境搭建与操作基础详解
Mar 13 Python
python实现的读取网页并分词功能示例
Oct 29 #Python
python实现LRU热点缓存及原理
Oct 29 #Python
Python 中的 import 机制之实现远程导入模块
Oct 29 #Python
Centos7 下安装最新的python3.8
Oct 28 #Python
Python any()函数的使用方法
Oct 28 #Python
PYTHON发送邮件YAGMAIL的简单实现解析
Oct 28 #Python
详解如何用python实现一个简单下载器的服务端和客户端
Oct 28 #Python
You might like
PHP读写文件的方法(生成HTML)
2006/11/27 PHP
php汉字转拼音的示例
2014/02/27 PHP
Windows2003下php5.4安装配置教程(Apache2.4)
2016/06/30 PHP
javascript 一个函数对同一元素的多个事件响应
2009/07/25 Javascript
JavaScript中常用的运算符小结
2012/01/18 Javascript
如何使用jQuery来处理图片坏链具体实现步骤
2013/05/02 Javascript
jquery制作居中遮罩层效果分享
2014/02/21 Javascript
Javascript与jQuery方法的隐藏与显示
2015/01/19 Javascript
JavaScript中创建字典对象(dictionary)实例
2015/03/31 Javascript
JS设置cookie、读取cookie
2016/02/24 Javascript
给easyui datebox扩展一个清空的实例
2016/11/09 Javascript
Vue.js第四天学习笔记
2016/12/02 Javascript
react-native之ART绘图方法详解
2017/08/08 Javascript
Vue2.0 axios前后端登陆拦截器(实例讲解)
2017/10/27 Javascript
JavaScript闭包与作用域链实例分析
2019/01/21 Javascript
[39:11]DOTA2上海特级锦标赛C组资格赛#2 LGD VS Newbee第二局
2016/02/28 DOTA
跟老齐学Python之再深点,更懂list
2014/09/20 Python
python3正则提取字符串里的中文实例
2019/01/31 Python
Python将string转换到float的实例方法
2019/07/29 Python
python 命令行传入参数实现解析
2019/08/30 Python
python、PyTorch图像读取与numpy转换实例
2020/01/13 Python
利用keras加载训练好的.H5文件,并实现预测图片
2020/01/24 Python
Python爬虫程序架构和运行流程原理解析
2020/03/09 Python
python安装mysql的依赖包mysql-python操作
2021/01/01 Python
纯CSS3实现的阴影效果
2014/12/24 HTML / CSS
css3实现文字扫光渐变动画效果的示例
2017/11/07 HTML / CSS
html5 利用canvas手写签名并保存的实现方法
2018/07/12 HTML / CSS
英国虚拟主机服务商:eUKhost
2016/08/16 全球购物
JMS中Topic和Queue有什么区别
2013/05/15 面试题
描述内存分配方式以及它们的区别
2016/10/15 面试题
2014年大学生自我评价
2014/01/19 职场文书
班子成员四风问题自我剖析材料
2014/09/29 职场文书
怒海潜将观后感
2015/06/11 职场文书
新闻发布会新闻稿
2015/07/17 职场文书
初一年级组工作总结
2015/08/12 职场文书
nginx安装以及配置的详细过程记录
2021/09/15 Servers