优化Python代码使其加快作用域内的查找


Posted in Python onMarch 30, 2015

我将示范微优化(micro optimization)如何提升python代码5%的执行速度。5%!同时也会触怒任何维护你代码的人。

但实际上,这篇文章只是解释一下你偶尔会在标准库或者其他人的代码中碰到的代码。我们先看一个标准库的例子,collections.OrderedDict类:
 

def __setitem__(self, key, value, dict_setitem=dict.__setitem__):
 if key not in self:
  root = self.__root
  last = root[0]
  last[1] = root[0] = self.__map[key] = [last, root, key]
 return dict_setitem(self, key, value)

注意最后一个参数:dict_setitem=dict.__setitem__。如果你仔细想就会感觉有道理。将值关联到键上,你只需要给__setitem__传递三个参数:要设置的键,与键关联的值,传递给内建dict类的__setitem__类方法。等会,好吧,也许最后一个参数没什么意义。
作用域查询

为了理解到底发生了什么,我们看下作用域。从一个简单问题开始:在一个python函数中,如果遇到了一个名为open的东西,python如何找出open的值?
 

# <GLOBAL: bunch of code here>
 
def myfunc():
 # <LOCAL: bunch of code here>
 with open('foo.txt', 'w') as f:
  pass

简单作答:如果不知道GLOBAL和LOCAL的内容,你不可能确定open的值。概念上,python查找名称时会检查3个命名空间(简单起见忽略嵌套作用域):

    局部命名空间
    全局命名空间
    内建命名空间

所以在myfunc函数中,如果尝试查找open的值时,我们首先会检查本地命名空间,然后是全局命名空间,接着内建命名空间。如果在这3个命名空间中都找不到open的定义,就会引发NameError异常。
作用域查找的实现

上面的查找过程只是概念上的。这个查找过程的实现给予了我们探索实现的空间。
 

def foo():
 a = 1
 return a
 
def bar():
 return a
 
def baz(a=1):
 return a

我们看下每个函数的字节码:
 

>>> import dis
>>> dis.dis(foo)
 2   0 LOAD_CONST    1 (1)
    3 STORE_FAST    0 (a)
 
 3   6 LOAD_FAST    0 (a)
    9 RETURN_VALUE
 
>>> dis.dis(bar)
 2   0 LOAD_GLOBAL    0 (a)
    3 RETURN_VALUE
 
>>> dis.dis(baz)
 2   0 LOAD_FAST    0 (a)
    3 RETURN_VALUE

注意foo和bar的区别。我们立即就可以看到,在字节码层面,python已经判断了什么是局部变量、什么不是,因为foo使用LOAD_FAST,而bar使用LOAD_GLOBAL。

我们不会具体阐述python的编译器如何知道何时生成何种字节码(也许那是另一篇文章的范畴了),但足以理解,python在执行函数时已经知道进行何种类型的查找。

另一个容易混淆的是,LOAD_GLOBAL既可以用于全局,也可以用于内建命名空间的查找。忽略嵌套作用域的问题,你可以认为这是“非局部的”。对应的C代码大概是[1]:
 

case LOAD_GLOBAL:
 v = PyObject_GetItem(f->f_globals, name);
 if (v == NULL) {
  v = PyObject_GetItem(f->f_builtins, name);
  if (v == NULL) {
   if (PyErr_ExceptionMatches(PyExc_KeyError))
    format_exc_check_arg(
       PyExc_NameError,
       NAME_ERROR_MSG, name);
   goto error;
  }
 }
 PUSH(v);

即使你从来没有看过CPython的C代码,上面的代码已经相当直白了。首先,检查我们查找的键名是否在f->f_globals(全局字典)中,然后检查名称是否在f->f_builtins(内建字典)中,最后,如果上面两个位置都没找到,就会抛出NameError异常。
将常量绑定到局部作用域

现在我们再看最开始的代码例子,就会理解最后一个参数其实是将一个函数绑定到局部作用域中的一个函数上。具体是通过将dict.__setitem__赋值为参数的默认值。这里还有另一个例子:
 

def not_list_or_dict(value):
 return not (isinstance(value, dict) or isinstance(value, list))
 
def not_list_or_dict(value, _isinstance=isinstance, _dict=dict, _list=list):
 return not (_isinstance(value, _dict) or _isinstance(value, _list))

这里我们做同样的事情,把本来将会在内建命名空间中的对象绑定到局部作用域中去。因此,python将会使用LOCAL_FAST而不是LOAD_GLOBAL(全局查找)。那么这到底有多快呢?我们做个简单的测试:
 

$ python -m timeit -s 'def not_list_or_dict(value): return not (isinstance(value, dict) or isinstance(value, list))' 'not_list_or_dict(50)'
1000000 loops, best of 3: 0.48 usec per loop
$ python -m timeit -s 'def not_list_or_dict(value, _isinstance=isinstance, _dict=dict, _list=list): return not (_isinstance(value, _dict) or _isinstance(value, _list))' 'not_list_or_dict(50)'
1000000 loops, best of 3: 0.423 usec per loop

换句话说,大概有11.9%的提升 [2]。比我在文章开始处承诺的5%还多!
还有更多内涵

可以合理地认为,速度提升在于LOAD_FAST读取局部作用域,而LOAD_GLOBAL在检查内建作用域之前会先首先检查全局作用域。上面那个示例函数中,isinstance、dict、list都位于内建命名空间。

但是,还有更多。我们不仅可以使用LOAD_FAST跳过多余的查找,它也是一种不同类型的查找。

上面C代码片段给出了LOAD_GLOBAL的代码,下面是LOAD_FAST的:
 

case LOAD_FAST:
 PyObject *value = fastlocal[oparg];
 if (value == NULL) {
  format_exc_check_arg(PyExc_UnboundLocalError,
        UNBOUNDLOCAL_ERROR_MSG,
        PyTuple_GetItem(co->co_varnames, oparg));
  goto error;
 }
 Py_INCREF(value);
 PUSH(value);
 FAST_DISPATCH()

我们通过索引一个数组获取局部值。虽然没有直接出现,但是oparg只是那个数组的一个索引。

现在听起来才合理。我们第一个版本的not_list_or_dict要进行4个查询,每个名称都位于内建命名空间,它们只有在查找全局命名空间之后才会查询。这就是8个字典键的查询操作了。相比之下,not_list_or_dict的第二版中,直接索引C数组4次,底层全部使用LOAD_FAST。这就是为什么局部查询更快的原因。
总结

现在当下次你在其他人代码中看到这种例子,就会明白了。

最后,除非确实需要,请不要在具体应用中进行这类优化。而且大部分时间你都没必要做。但是如果时候到了,你需要挤出最后一点性能,就需要搞懂这点。
脚注

[1]注意,为了更易读,上面的代码中我去掉了一些性能优化。真正的代码稍微有点复杂。

[2]示例函数事实上没有做什么有价值的东西,也没进行IO操作,大部分是受python VM循环的限制。

Python 相关文章推荐
Python中的CURL PycURL使用例子
Jun 01 Python
Python中编写ORM框架的入门指引
Apr 29 Python
python3 实现的人人影视网站自动签到
Jun 19 Python
详解Python中使用base64模块来处理base64编码的方法
Jul 01 Python
Python最火、R极具潜力 2017机器学习调查报告
Dec 11 Python
利用python和百度地图API实现数据地图标注的方法
May 13 Python
django fernet fields字段加密实践详解
Aug 12 Python
python3 tkinter实现添加图片和文本
Nov 26 Python
pytorch点乘与叉乘示例讲解
Dec 27 Python
python实现滑雪者小游戏
Feb 22 Python
基于Python实现2种反转链表方法代码实例
Jul 06 Python
利用Python第三方库实现预测NBA比赛结果
Jun 21 Python
Python中分数的相关使用教程
Mar 30 #Python
Python2.x中str与unicode相关问题的解决方法
Mar 30 #Python
分享一个常用的Python模拟登陆类
Mar 29 #Python
python实现查询IP地址所在地
Mar 29 #Python
python实现定时播放mp3
Mar 29 #Python
Python实现设置windows桌面壁纸代码分享
Mar 28 #Python
Python中的类与对象之描述符详解
Mar 27 #Python
You might like
PHP+DBM的同学录程序(2)
2006/10/09 PHP
php关联数组快速排序的方法
2015/04/17 PHP
Laravel中批量赋值Mass-Assignment的真正含义详解
2017/09/29 PHP
PHP常用字符串函数用法实例总结
2020/06/04 PHP
基于PHP实现短信验证码发送次数限制
2020/07/11 PHP
THREE.JS入门教程(4)创建粒子系统
2013/01/24 Javascript
js简单实现HTML标签Select联动带跳转
2013/10/23 Javascript
浅析XMLHttpRequest的缓存问题
2013/12/13 Javascript
js二维数组排序的简单示例代码
2014/01/24 Javascript
js清空表单数据的两种方式(遍历+reset)
2014/07/18 Javascript
一行命令搞定node.js 版本升级
2014/07/20 Javascript
深入理解JavaScript的React框架的原理
2015/07/02 Javascript
javascript实现将文件保存到本地方法汇总
2015/07/26 Javascript
JS实现iframe编辑器光标位置插入内容的方法(兼容IE和Firefox)
2016/06/24 Javascript
ES6中的rest参数与扩展运算符详解
2017/07/18 Javascript
JavaScript实现点击出现图片并统计点击次数功能示例
2018/07/23 Javascript
jQuery+PHP实现上传裁剪图片
2020/06/29 jQuery
vue实现拖拽效果
2019/12/23 Javascript
js模拟实现烟花特效
2020/03/10 Javascript
TypeScript魔法堂之枚举的超实用手册
2020/10/29 Javascript
Python原始字符串(raw strings)用法实例
2014/10/13 Python
Django imgareaselect手动剪切头像实现方法
2015/05/26 Python
Python判断值是否在list或set中的性能对比分析
2016/04/16 Python
CentOS7下python3.7.0安装教程
2018/07/30 Python
python redis 删除key脚本的实例
2019/02/19 Python
Python操作MySQL数据库的两种方式实例分析【pymysql和pandas】
2019/03/18 Python
HTML5之SVG 2D入门2—图形绘制(基本形状)介绍及使用
2013/01/30 HTML / CSS
HTML5为输入框添加语音输入功能的实现方法
2017/02/06 HTML / CSS
艺术用品:Arteza
2018/11/25 全球购物
药学专业个人自我评价
2013/11/11 职场文书
家长会演讲稿范文
2014/01/10 职场文书
校园摄影活动策划方案
2014/02/05 职场文书
小区门卫的岗位职责
2014/09/26 职场文书
2014年安全员工作总结
2014/11/13 职场文书
活动主持人开场白
2015/05/28 职场文书
实习证明格式范文
2015/06/16 职场文书