优化Python代码使其加快作用域内的查找


Posted in Python onMarch 30, 2015

我将示范微优化(micro optimization)如何提升python代码5%的执行速度。5%!同时也会触怒任何维护你代码的人。

但实际上,这篇文章只是解释一下你偶尔会在标准库或者其他人的代码中碰到的代码。我们先看一个标准库的例子,collections.OrderedDict类:
 

def __setitem__(self, key, value, dict_setitem=dict.__setitem__):
 if key not in self:
  root = self.__root
  last = root[0]
  last[1] = root[0] = self.__map[key] = [last, root, key]
 return dict_setitem(self, key, value)

注意最后一个参数:dict_setitem=dict.__setitem__。如果你仔细想就会感觉有道理。将值关联到键上,你只需要给__setitem__传递三个参数:要设置的键,与键关联的值,传递给内建dict类的__setitem__类方法。等会,好吧,也许最后一个参数没什么意义。
作用域查询

为了理解到底发生了什么,我们看下作用域。从一个简单问题开始:在一个python函数中,如果遇到了一个名为open的东西,python如何找出open的值?
 

# <GLOBAL: bunch of code here>
 
def myfunc():
 # <LOCAL: bunch of code here>
 with open('foo.txt', 'w') as f:
  pass

简单作答:如果不知道GLOBAL和LOCAL的内容,你不可能确定open的值。概念上,python查找名称时会检查3个命名空间(简单起见忽略嵌套作用域):

    局部命名空间
    全局命名空间
    内建命名空间

所以在myfunc函数中,如果尝试查找open的值时,我们首先会检查本地命名空间,然后是全局命名空间,接着内建命名空间。如果在这3个命名空间中都找不到open的定义,就会引发NameError异常。
作用域查找的实现

上面的查找过程只是概念上的。这个查找过程的实现给予了我们探索实现的空间。
 

def foo():
 a = 1
 return a
 
def bar():
 return a
 
def baz(a=1):
 return a

我们看下每个函数的字节码:
 

>>> import dis
>>> dis.dis(foo)
 2   0 LOAD_CONST    1 (1)
    3 STORE_FAST    0 (a)
 
 3   6 LOAD_FAST    0 (a)
    9 RETURN_VALUE
 
>>> dis.dis(bar)
 2   0 LOAD_GLOBAL    0 (a)
    3 RETURN_VALUE
 
>>> dis.dis(baz)
 2   0 LOAD_FAST    0 (a)
    3 RETURN_VALUE

注意foo和bar的区别。我们立即就可以看到,在字节码层面,python已经判断了什么是局部变量、什么不是,因为foo使用LOAD_FAST,而bar使用LOAD_GLOBAL。

我们不会具体阐述python的编译器如何知道何时生成何种字节码(也许那是另一篇文章的范畴了),但足以理解,python在执行函数时已经知道进行何种类型的查找。

另一个容易混淆的是,LOAD_GLOBAL既可以用于全局,也可以用于内建命名空间的查找。忽略嵌套作用域的问题,你可以认为这是“非局部的”。对应的C代码大概是[1]:
 

case LOAD_GLOBAL:
 v = PyObject_GetItem(f->f_globals, name);
 if (v == NULL) {
  v = PyObject_GetItem(f->f_builtins, name);
  if (v == NULL) {
   if (PyErr_ExceptionMatches(PyExc_KeyError))
    format_exc_check_arg(
       PyExc_NameError,
       NAME_ERROR_MSG, name);
   goto error;
  }
 }
 PUSH(v);

即使你从来没有看过CPython的C代码,上面的代码已经相当直白了。首先,检查我们查找的键名是否在f->f_globals(全局字典)中,然后检查名称是否在f->f_builtins(内建字典)中,最后,如果上面两个位置都没找到,就会抛出NameError异常。
将常量绑定到局部作用域

现在我们再看最开始的代码例子,就会理解最后一个参数其实是将一个函数绑定到局部作用域中的一个函数上。具体是通过将dict.__setitem__赋值为参数的默认值。这里还有另一个例子:
 

def not_list_or_dict(value):
 return not (isinstance(value, dict) or isinstance(value, list))
 
def not_list_or_dict(value, _isinstance=isinstance, _dict=dict, _list=list):
 return not (_isinstance(value, _dict) or _isinstance(value, _list))

这里我们做同样的事情,把本来将会在内建命名空间中的对象绑定到局部作用域中去。因此,python将会使用LOCAL_FAST而不是LOAD_GLOBAL(全局查找)。那么这到底有多快呢?我们做个简单的测试:
 

$ python -m timeit -s 'def not_list_or_dict(value): return not (isinstance(value, dict) or isinstance(value, list))' 'not_list_or_dict(50)'
1000000 loops, best of 3: 0.48 usec per loop
$ python -m timeit -s 'def not_list_or_dict(value, _isinstance=isinstance, _dict=dict, _list=list): return not (_isinstance(value, _dict) or _isinstance(value, _list))' 'not_list_or_dict(50)'
1000000 loops, best of 3: 0.423 usec per loop

换句话说,大概有11.9%的提升 [2]。比我在文章开始处承诺的5%还多!
还有更多内涵

可以合理地认为,速度提升在于LOAD_FAST读取局部作用域,而LOAD_GLOBAL在检查内建作用域之前会先首先检查全局作用域。上面那个示例函数中,isinstance、dict、list都位于内建命名空间。

但是,还有更多。我们不仅可以使用LOAD_FAST跳过多余的查找,它也是一种不同类型的查找。

上面C代码片段给出了LOAD_GLOBAL的代码,下面是LOAD_FAST的:
 

case LOAD_FAST:
 PyObject *value = fastlocal[oparg];
 if (value == NULL) {
  format_exc_check_arg(PyExc_UnboundLocalError,
        UNBOUNDLOCAL_ERROR_MSG,
        PyTuple_GetItem(co->co_varnames, oparg));
  goto error;
 }
 Py_INCREF(value);
 PUSH(value);
 FAST_DISPATCH()

我们通过索引一个数组获取局部值。虽然没有直接出现,但是oparg只是那个数组的一个索引。

现在听起来才合理。我们第一个版本的not_list_or_dict要进行4个查询,每个名称都位于内建命名空间,它们只有在查找全局命名空间之后才会查询。这就是8个字典键的查询操作了。相比之下,not_list_or_dict的第二版中,直接索引C数组4次,底层全部使用LOAD_FAST。这就是为什么局部查询更快的原因。
总结

现在当下次你在其他人代码中看到这种例子,就会明白了。

最后,除非确实需要,请不要在具体应用中进行这类优化。而且大部分时间你都没必要做。但是如果时候到了,你需要挤出最后一点性能,就需要搞懂这点。
脚注

[1]注意,为了更易读,上面的代码中我去掉了一些性能优化。真正的代码稍微有点复杂。

[2]示例函数事实上没有做什么有价值的东西,也没进行IO操作,大部分是受python VM循环的限制。

Python 相关文章推荐
python网络编程之TCP通信实例和socketserver框架使用例子
Apr 25 Python
Python中Collection的使用小技巧
Aug 18 Python
Python3 正在毁灭 Python的原因分析
Nov 28 Python
python通过exifread模块获得图片exif信息的方法
Mar 16 Python
python制作花瓣网美女图片爬虫
Oct 28 Python
以一个投票程序的实例来讲解Python的Django框架使用
Feb 18 Python
基于Linux系统中python matplotlib画图的中文显示问题的解决方法
Jun 15 Python
对python的unittest架构公共参数token提取方法详解
Dec 17 Python
Python对称的二叉树多种思路实现方法
Feb 28 Python
python中not、and和or的优先级与详细用法介绍
Nov 03 Python
python之openpyxl模块的安装和基本用法(excel管理)
Feb 03 Python
python使用tkinter实现透明窗体上绘制随机出现的小球(实例代码)
May 17 Python
Python中分数的相关使用教程
Mar 30 #Python
Python2.x中str与unicode相关问题的解决方法
Mar 30 #Python
分享一个常用的Python模拟登陆类
Mar 29 #Python
python实现查询IP地址所在地
Mar 29 #Python
python实现定时播放mp3
Mar 29 #Python
Python实现设置windows桌面壁纸代码分享
Mar 28 #Python
Python中的类与对象之描述符详解
Mar 27 #Python
You might like
Yii2超好用的日期和时间组件(值得收藏)
2016/05/05 PHP
php5.2的curl-bug 服务器被php进程卡死问题排查
2016/09/19 PHP
laravel Validator ajax返回错误信息的方法
2019/09/29 PHP
JavaScript For Beginners(转载)
2007/01/05 Javascript
跨域表单提交状态的变相判断代码
2009/11/12 Javascript
Grid得到选择行数据的方法总结
2011/01/17 Javascript
jQuery选择器的工作原理和优化分析
2011/07/25 Javascript
jquery mobile事件多次绑定示例代码
2013/09/13 Javascript
如何调试异步加载页面里包含的js文件
2014/10/30 Javascript
Javascript基础教程之if条件语句
2015/01/18 Javascript
Javascript毫秒数用法实例
2015/02/05 Javascript
基于JavaScript如何实现私有成员的语法特征及私有成员的实现方式
2015/10/28 Javascript
用window.onerror捕获并上报Js错误的方法
2016/01/27 Javascript
用node和express连接mysql实现登录注册的实现代码
2017/07/05 Javascript
VueJs使用Amaze ui调整列表和内容页面
2017/11/30 Javascript
React中的refs的使用教程
2018/02/13 Javascript
详解 微信小程序开发框架(MINA)
2019/05/17 Javascript
微信小程序使用蓝牙小插件
2019/09/23 Javascript
在Python中使用判断语句和循环的教程
2015/04/25 Python
Python实现通过解析域名获取ip地址的方法分析
2019/05/17 Python
python查看文件大小和文件夹内容的方法
2019/07/08 Python
Python中的延迟绑定原理详解
2019/10/11 Python
python ctypes库2_指定参数类型和返回类型详解
2019/11/19 Python
Python实现序列化及csv文件读取
2020/01/19 Python
美国领先的在线邮轮旅游公司:CruiseDirect
2018/06/07 全球购物
当x.equals(y)等于true时,x.hashCode()与y.hashCode()可以不相等,这句话对不对
2015/05/02 面试题
网络公司美工设计工作个人的自我评价
2013/11/03 职场文书
员工安全生产承诺书
2014/05/22 职场文书
小学生关于梦想的演讲稿
2014/08/22 职场文书
2014年幼儿园后勤工作总结
2014/11/10 职场文书
2014年仓库管理员工作总结
2014/11/18 职场文书
邀请函格式范文
2015/02/02 职场文书
女方离婚起诉书
2015/05/18 职场文书
2015年暑期社会实践报告
2015/07/13 职场文书
建房合同协议书
2016/03/21 职场文书
vue实力踩坑之push当前页无效
2022/04/10 Vue.js