Python的词法分析与语法分析


Posted in Python onMay 18, 2013

词法分析(Lexical Analysis):分析由字符组成的单词是否合法,如果没有问题的话,则产生一个单词流。

语法分析(Syntactic Analysis):分析由单词组成的句子是否合法,如果没有问题的话,则产生一个语法树。

在词法分析器分析源代码文本的时候,有一个概念需要明确:

1.物理行:由回车字符序列(在Windows上是CR LF,在Unix上是LF)结尾的字符序列组成一个物理行。

2.逻辑行:由一个或者多个物理行组成,可以明确地使用反斜杠(\)来连接多个物理行使之成为一个逻辑行;或者,处在圆括号,中括号,花括号内的表达式可以跨越多个物理行,但是被当作一个逻辑行。

词法分析器是面向逻辑行的,也就是说,对于词法分析器而言,只有逻辑行才算是一行,它只在逻辑行结束之处才产生NEWLINE这个单词或者说token。

对于每一处缩进,不管它有多少个空白字符,词法分析器只会产生一个INDENT单词或者说token,代表缩进一级,每当要退出一级缩进的时候,词法分析器就会产生一个DEDENT单词或者说token。注意,单词DEDENT并没有一个或一组字符与之对应,它是完全的逻辑概念。

Python使用稍作修改的BNF(巴科斯范式)来表示词法与语法规则。

下面重点说一下需要注意的地方,以避免发生一些低级但是隐蔽的编程错误。

1.标识符是区分大小写的,但是仍然不要仅仅用大小写不同来区分两个变量。

2.不要使用那些在其它编程语言中是关键字的标识符作为变量名,因为它们很可能会成为Python的关键字。

3.不要使用Python明确声明有特殊意义的标志符作为变量名(这类变量一般以下划线开头),除非明确自己要使用那个特殊含义。

4.不要在Python中使用$和?(字符串中除外),它们不是合法的字符。

5.不要混用Tab和空格来表示缩进,只使用其中一种,并养成习惯。

6.整数字面常量有10,16,8,2几种表示方法,如果使用16进制,请写0xa或者0Xa;如果使用8进制,请写0o7或者0O7;如果使用2进制,请写0b1或者0B1;总之,不要省略掉那个标识进制的字母,建议只使用小写字母。

7.在整数字面常量后加一个l或者L就形成了一个长整数,建议只使用L,因为小写l看起来像数字1.

8.整数使用32位表示,但是长整数并不限于多少位表示,在内存允许的情况下,它可以表示任意大小的整数,这与C语言等是不一样的。

9.如果一个整数字面常量的值超过32位整数的表示范围,那么Python会自动将它升级为长整数,但是在早期的Python实现中可能并非如此,因此如果你预计需要一个很大的整数值,请明确使用长整数。

10.浮点数字面常量只有10进制形式。

Python 相关文章推荐
Python实现列表删除重复元素的三种常用方法分析
Nov 24 Python
Python全排列操作实例分析
Jul 24 Python
Python实现处理逆波兰表达式示例
Jul 30 Python
python实现飞机大战微信小游戏
Mar 21 Python
Python3实现的简单三级菜单功能示例
Mar 12 Python
PyQt4编程之让状态栏显示信息的方法
Jun 18 Python
python文件操作的简单方法总结
Nov 07 Python
windows python3安装Jupyter Notebooks教程
Apr 13 Python
Python判断字符串是否为合法标示符操作
Sep 03 Python
Python的轻量级ORM框架peewee使用教程
Feb 05 Python
Python与C++中梯度方向直方图的实现
Mar 17 Python
python读取并查看npz/npy文件数据以及数据显示方法
Apr 14 Python
简单文件操作python 修改文件指定行的方法
May 15 #Python
Python代理抓取并验证使用多线程实现
May 03 #Python
50行代码实现贪吃蛇(具体思路及代码)
Apr 27 #Python
Python的lambda匿名函数的简单介绍
Apr 25 #Python
python批量下载图片的三种方法
Apr 22 #Python
如何运行Python程序的方法
Apr 21 #Python
python读取注册表中值的方法
Apr 08 #Python
You might like
PHP验证码函数代码(简单实用)
2013/09/29 PHP
php实现简单爬虫的开发
2016/03/28 PHP
浅谈PHP Cookie处理函数
2016/06/10 PHP
PHP中关于php.ini参数优化详解
2020/02/28 PHP
js兼容标准的表格变色效果
2008/06/28 Javascript
jQuery数据显示插件整合实现代码
2011/10/24 Javascript
用javascript添加控件自定义属性解析
2013/11/25 Javascript
jquery库或JS文件在eclipse下报错问题解决方法
2014/04/17 Javascript
在页面加载完成后通过jquery给多个span赋值
2014/05/21 Javascript
node.js中的fs.fchown方法使用说明
2014/12/16 Javascript
JQuery CheckBox(复选框)操作方法汇总
2015/04/15 Javascript
jQuery实现连续动画效果实例分析
2015/10/09 Javascript
javascript中return,return true,return false三者的用法及区别
2015/11/17 Javascript
JS组件Form表单验证神器BootstrapValidator
2016/01/26 Javascript
Javascript实现图片懒加载插件的方法
2016/10/20 Javascript
select下拉框插件jquery.editable-select详解
2017/01/22 Javascript
jQuery 判断元素整理汇总
2017/02/28 Javascript
jQuery给表格添加分页效果
2017/03/02 Javascript
vue快捷键与基础指令详解
2017/06/01 Javascript
浅谈React组件之性能优化
2018/03/02 Javascript
详解如何更好的使用module vuex
2019/03/27 Javascript
微信小程序 调用远程接口 给全局数组赋值代码实例
2019/08/13 Javascript
vue实现计算器功能
2020/02/22 Javascript
Vue实现手机计算器
2020/08/17 Javascript
node.js爬虫框架node-crawler初体验
2020/10/29 Javascript
Python的Django框架中TEMPLATES项的设置教程
2015/05/29 Python
python实现将两个文件夹合并至另一个文件夹(制作数据集)
2020/04/03 Python
django-orm F对象的使用 按照两个字段的和,乘积排序实例
2020/05/18 Python
Python应用自动化部署工具Fabric原理及使用解析
2020/11/30 Python
Saucony澳大利亚官网:美国跑鞋品牌,运动鞋中的劳斯莱斯
2018/05/05 全球购物
土木工程毕业生推荐信
2013/10/28 职场文书
小学安全教育材料
2014/02/17 职场文书
大国崛起观后感
2015/06/02 职场文书
如何使用flask将模型部署为服务
2021/05/13 Python
laravel添加角色和模糊搜索功能的实现代码
2021/06/22 PHP
nginx实现动静分离的方法示例
2021/11/07 Servers