详解Python locals()的陷阱


Posted in Python onMarch 26, 2019

在工作中, 有时候会遇到一种情况: 动态地进行变量赋值, 不管是局部变量还是全局变量, 在我们绞尽脑汁的时候, Python已经为我们解决了这个问题.

Python的命名空间通过一种字典的形式来体现, 而具体到函数也就是locals() 和 globals(), 分别对应着局部命名空间和全局命名空间. 于是, 我们也就能通过这些方法去实现我们"动态赋值"的需求.

例如:

def test():
  globals()['a2'] = 4
test()
print a2  # 输出 4

很自然, 既然 globals能改变全局命名空间, 那理所当然locals应该也能修改局部命名空间.修改函数内的局部变量.

但事实真是如此吗? 不是!

def aaaa():
  print locals()
  for i in ['a', 'b', 'c']:
    locals()[i] = 1
  print locals()
  print a
aaaa()

输出:

{}
{'i': 'c', 'a': 1, 'c': 1, 'b': 1}
Traceback (most recent call last):
  File "5.py", line 17, in <module>
    aaaa()
  File "5.py", line 16, in aaaa
    print a
NameError: global name 'a' is not defined

程序运行报错了!

但是在第二次print locals()很清楚能够看到, 局部空间是已经有那些变量了, 其中也有变量a并且值也为1, 但是为什么到了print a却报出NameError异常?

再看一个例子:

def aaaa():
  print locals()
  s = 'test'          # 加入显示赋值 s    
  for i in ['a', 'b', 'c']:
    locals()[i] = 1
  print locals()
  print s            # 打印局部变量 s 
  print a
aaaa()

输出:

{}
{'i': 'c', 'a': 1, 's': 'test', 'b': 1, 'c': 1}
test
Traceback (most recent call last):
  File "5.py", line 19, in <module>
    aaaa()
  File "5.py", line 18, in aaaa
    print a
NameError: global name 'a' is not defined

上下两段代码, 区别就是, 下面的有显示赋值的代码, 虽然也是同样触发了NameError异常, 但是局部变量s的值被打印了出来.

这就让我们觉得很纳闷, 难道通过locals()改变局部变量, 和直接赋值有不同? 想解决这个问题, 只能去看程序运行的真相了, 又得上大杀器dis~

根源探讨

直接对第二段代码解析:

13      0 LOAD_GLOBAL       0 (locals)
       3 CALL_FUNCTION      0
       6 PRINT_ITEM
       7 PRINT_NEWLINE

 14      8 LOAD_CONST        1 ('test')
       11 STORE_FAST        0 (s)

 15     14 SETUP_LOOP       36 (to 53)
       17 LOAD_CONST        2 ('a')
       20 LOAD_CONST        3 ('b')
       23 LOAD_CONST        4 ('c')
       26 BUILD_LIST        3
       29 GET_ITER
    >>  30 FOR_ITER        19 (to 52)
       33 STORE_FAST        1 (i)

 16     36 LOAD_CONST        5 (1)
       39 LOAD_GLOBAL       0 (locals)
       42 CALL_FUNCTION      0
       45 LOAD_FAST        1 (i)
       48 STORE_SUBSCR
       49 JUMP_ABSOLUTE      30
    >>  52 POP_BLOCK

 17   >>  53 LOAD_GLOBAL       0 (locals)
       56 CALL_FUNCTION      0
       59 PRINT_ITEM
       60 PRINT_NEWLINE

 18     61 LOAD_FAST        0 (s)
       64 PRINT_ITEM
       65 PRINT_NEWLINE

 19     66 LOAD_GLOBAL       1 (a)
       69 PRINT_ITEM
       70 PRINT_NEWLINE
       71 LOAD_CONST        0 (None)
       74 RETURN_VALUE
None

在上面的字节码可以看到:

  1. locals() 对应的字节码是: LOAD_GLOBAL
  2. s='test' 对应的字节码是: LOAD_CONST 和 STORE_FAST
  3. print s 对应的字节码是: LOAD_FAST
  4. print a 对应的字节码是: LOAD_GLOBAL

从上面罗列出来的几个关键语句的字节码可以看出, 直接赋值/读取 和 通过locals()赋值/读取 本质是很大不同的. 那么触发NameError异常, 是否证明通过 locals()[i] = 1 存储的值, 和真正的局部命名空间 是不同的两个位置?

想要回答这个问题, 我们得先确定一个东西, 就是真正的局部命名空间如何获取? 其实这个问题, 在上面的字节码上, 已经给出了标准答案了!

真正的局部命名空间, 其实是存在 STORE_FAST 这个对应的数据结构里面. 这个是什么鬼, 这个需要源码来解答:

// ceval.c 从上往下, 依次是相应函数或者变量的定义
// 指令源码
TARGET(STORE_FAST)
{
  v = POP();
  SETLOCAL(oparg, v);
  FAST_DISPATCH();
}
--------------------
// SETLOCAL 宏定义   
#define SETLOCAL(i, value)   do { PyObject *tmp = GETLOCAL(i); \
                   GETLOCAL(i) = value; \
                   Py_XDECREF(tmp); } while (0)
-------------------- 
// GETLOCAL 宏定义                  
#define GETLOCAL(i)   (fastlocals[i])   

-------------------- 
// fastlocals 真面目
PyObject * PyEval_EvalFrameEx(PyFrameObject *f, int throwflag){
  // 省略其他无关代码
  fastlocals = f->f_localsplus;
....
}

看到这里, 应该就能明确了, 函数内部的局部命名空间, 实际是就是帧对象的f的成员f_localsplus, 这是一个数组, 了解函数创建的童鞋可能会比较清楚, 在CALL_FUNCTION时, 会对这个数组进行初始化, 将形参赋值什么都会按序塞进去, 在字节码 18 61 LOAD_FAST 0 (s)中, 第四列的0, 就是将f_localsplus第 0 个成员取出来, 也就是值 "s".

所以STORE_FAST才是真正的将变量存入局部命名空间, 那locals()又是什么鬼? 为什么看起来就跟真的一样?

这个就需要分析locals, 对于这个, 字节码可能起不了作用, 直接去看内置函数如何定义的吧:

// bltinmodule.c
static PyMethodDef builtin_methods[] = {
  ...
  // 找到 locals 函数对应的内置函数是 builtin_locals 
  {"locals",     (PyCFunction)builtin_locals,   METH_NOARGS, locals_doc},
  ...
}

-----------------------------

// builtin_locals 的定义
static PyObject *
builtin_locals(PyObject *self)
{
  PyObject *d;

  d = PyEval_GetLocals();
  Py_XINCREF(d);
  return d;
}
-----------------------------

PyObject *
PyEval_GetLocals(void)
{
  PyFrameObject *current_frame = PyEval_GetFrame(); // 获取当前堆栈对象
  if (current_frame == NULL)
    return NULL;
  PyFrame_FastToLocals(current_frame); // 初始化和填充 f_locals
  return current_frame->f_locals;
}
-----------------------------

// 初始化和填充 f_locals 的具体实现
void
PyFrame_FastToLocals(PyFrameObject *f)
{
  /* Merge fast locals into f->f_locals */
  PyObject *locals, *map;
  PyObject **fast;
  PyObject *error_type, *error_value, *error_traceback;
  PyCodeObject *co;
  Py_ssize_t j;
  int ncells, nfreevars;
  if (f == NULL)
    return;
  locals = f->f_locals;
  
  // 如果locals为空, 就新建一个字典对象
  if (locals == NULL) {
    locals = f->f_locals = PyDict_New(); 
    if (locals == NULL) {
      PyErr_Clear(); /* Can't report it :-( */
      return;
    }
  }
  
  co = f->f_code;
  map = co->co_varnames;
  if (!PyTuple_Check(map))
    return;
  PyErr_Fetch(&error_type, &error_value, &error_traceback);
  fast = f->f_localsplus;
  j = PyTuple_GET_SIZE(map);
  if (j > co->co_nlocals)
    j = co->co_nlocals;
    
  // 将 f_localsplus 写入 locals
  if (co->co_nlocals)
    map_to_dict(map, j, locals, fast, 0);
  ncells = PyTuple_GET_SIZE(co->co_cellvars);
  nfreevars = PyTuple_GET_SIZE(co->co_freevars);
  if (ncells || nfreevars) {
    // 将 co_cellvars 写入 locals
    map_to_dict(co->co_cellvars, ncells,
          locals, fast + co->co_nlocals, 1);
          
    if (co->co_flags & CO_OPTIMIZED) {
      // 将 co_freevars 写入 locals
      map_to_dict(co->co_freevars, nfreevars,
            locals, fast + co->co_nlocals + ncells, 1);
    }
  }
  PyErr_Restore(error_type, error_value, error_traceback);
}

从上面PyFrame_FastToLocals已经看出来, locals() 实际上做了下面几件事:

  1. 判断帧对象 的 f_f->f_locals 是否为空, 若是, 则新建一个字典对象.
  2. 分别将 localsplus, co_cellvars 和 co_freevars 写入 f_f->f_locals.

在这简单介绍下上面几个分别是什么鬼:

  1. localsplus: 函数参数(位置参数+关键字参数), 显示赋值的变量.
  2. co_cellvars 和 co_freevars: 闭包函数会用到的局部变量.

结论

通过上面的源码, 我们已经很明确知道locals() 看到的, 的确是函数的局部命名空间的内容, 但是它本身不能代表局部命名空间, 这就好像一个代理, 它收集了A, B, C的东西, 展示给我看, 但是我却不能简单的通过改变这个代理, 来改变A, B, C真正拥有的东西!

这也就是为什么, 当我们通过locals()[i] = 1的方式去动态赋值时, print a却触发了NameError异常, 而相反的, globals()确实真正的全局命名空间, 所以一般会说

locals() 只读, globals() 可读可写

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用Berkeley DB数据库实例
Sep 26 Python
Python自动重试HTTP连接装饰器
Apr 28 Python
python数据类型_元组、字典常用操作方法(介绍)
May 30 Python
简单实现Python爬取网络图片
Apr 01 Python
python之django母板页面的使用
Jul 03 Python
Python Web版语音合成实例详解
Jul 16 Python
python isinstance函数用法详解
Feb 13 Python
Python的Django框架实现数据库查询(不返回QuerySet的方法)
May 19 Python
Python带参数的装饰器运行原理解析
Jun 09 Python
带你学习Python如何实现回归树模型
Jul 16 Python
python实现图片转字符画的完整代码
Feb 21 Python
Python中os模块的简单使用及重命名操作
Apr 17 Python
python 为什么说eval要慎用
Mar 26 #Python
Python eval的常见错误封装及利用原理详解
Mar 26 #Python
Python骚操作之动态定义函数
Mar 26 #Python
python 将有序数组转换为二叉树的方法
Mar 26 #Python
浅谈Python爬虫基本套路
Mar 25 #Python
我用Python抓取了7000 多本电子书案例详解
Mar 25 #Python
详解python:time模块用法
Mar 25 #Python
You might like
《星际争霸重制版》兵种对比图鉴
2020/03/02 星际争霸
phpMyAdmin 安装配置方法和问题解决
2009/06/08 PHP
php switch语句多个值匹配同一代码块的实现
2014/03/03 PHP
WordPress中获取页面链接和标题的相关PHP函数用法解析
2015/12/17 PHP
CI框架入门之MVC简单示例
2016/11/21 PHP
js正则表达式的使用详解
2013/07/09 Javascript
改变隐藏的input中value的值代码
2013/12/30 Javascript
js的隐含参数(arguments,callee,caller)使用方法
2014/01/28 Javascript
JS获得浏览器版本和操作系统版本的例子
2014/05/13 Javascript
node.js中使用q.js实现api的promise化
2014/09/17 Javascript
JavaScript中操作字符串小结
2015/05/04 Javascript
JS判断字符串包含的方法
2015/05/05 Javascript
每天一篇javascript学习小结(Boolean对象)
2015/11/12 Javascript
angularjs之$timeout指令详解
2017/06/13 Javascript
JavaScript判断浏览器和hack滚动条的写法
2017/07/23 Javascript
AngularJS 前台分页实现的示例代码
2018/06/07 Javascript
原生js实现抽奖小游戏
2019/06/27 Javascript
python 获取et和excel的版本号
2009/04/09 Python
Python中使用md5sum检查目录中相同文件代码分享
2015/02/02 Python
python自动查询12306余票并发送邮箱提醒脚本
2018/05/21 Python
Python匿名函数及应用示例
2019/04/09 Python
python使用正则表达式匹配txt特定字符串(有换行)
2020/12/09 Python
termux中matplotlib无法显示中文问题的解决方法
2021/01/11 Python
深入理解css属性的选择对动画性能的影响
2016/04/20 HTML / CSS
CSS3移动端vw+rem不依赖JS实现响应式布局的方法
2019/01/23 HTML / CSS
精伦电子Java笔试题
2013/01/16 面试题
消防战士优秀事迹材料
2014/02/13 职场文书
一年级评语大全
2014/04/23 职场文书
缅怀革命先烈演讲稿
2014/05/14 职场文书
2015年加油站工作总结
2015/05/13 职场文书
2015年新农村建设工作总结
2015/05/22 职场文书
结婚喜宴祝酒词
2015/08/10 职场文书
2016年教师师德师风心得体会
2016/01/12 职场文书
2016学习医德医风心得体会
2016/01/25 职场文书
动视暴雪取消疫苗禁令 让所有员工返回线下工作
2022/04/03 其他游戏
python的html标准库
2022/04/29 Python