Python统计单词出现的次数


Posted in Python onApril 04, 2018

题目:

统计一个文件中每个单词出现的次数,列出出现频率最多的5个单词。

前言:

这道题在实际应用场景中使用比较广泛,比如统计历年来四六级考试中出现的高频词汇,记得李笑来就利用他的编程技能出版过一本背单词的畅销书,就是根据词频来记单词,深受学生喜欢。这就是一个把编程技能用来解决实际问题的典型场景。另外,在数据分析时,那些词云效果本质上都是基于词频统计来调整字体的大小,如果你能熟练运用Python中的知识来解决问题的话,说明你真的入门Python了。

分析

本题主要考察以下几个方面的知识点:

1、如何正确读写文件

在python中读写文件可以使用内置函数open(),而 open 函数在python2 和 python3 中有一定的区别,比如 Python 中可以指定读写文件的编码格式,而 Python 则不可以,为了同时兼容2和3,我们通常会使用io模块下面的 open 函数,大家可以查文档搞清楚它们之间的区别,培养主动学习能力和查资料的习惯。

另外一点是读写文件完成之后是需要关闭文件描述符的,除了可以使用 try...except...finally的语法之后,我们还可以使用更优雅的 with … as 的语法来自动关闭文件。

2、如何对数据进行排序

sorted函数是一个使用频率很高的内置函数,它的用法也很强大,因为它可以通过指定参数 key 来进行自定义排序,也就意味着你不仅可以对数字排序、对字母排序、还可以对列表、字典、自定义的对象进行排序,你只需要要告诉 sorted 函数的排序规则是什么,比如一个people对象,我既可以根据年龄排序也可以根据身高体重来排序,所以这个函数时非常灵活的,另外,对于列表对象有自带的 sort 方法,如果能区分清楚 list.sort 与 sorted 之间区别那说明你已经能灵活运用了。

3、字典数据类型的运用

做词频统计,用字典无疑是最合适的数据类型,单词作为字典的key, 单词出现的次数作为字典的 value,很方便地就记录好了每个单词的频率,字典很像我们的电话本,每个名字关联一个电话号码。另外,字典最大的特点就是它的查询速度会非常快。理想情况下时间复杂度为O(1),我是说理想情况,如果你想深入了解字典的话,建议看看这篇文章 https://www.laurentluce.com/posts/python-dictionary-implementation/

4、正则表达式的运用

对文本、字符串处理,正则表达式简直是神器,无论是做数据爬虫还是数据清洗使用非常广泛,当然,正则表达式并不是Python特有的东西,所有编程语言都支持,我们要做的除了学习正则表达式还有他的API,只有熟悉了API我们才能运用到实际场景中去。关于正则表达式推荐一篇文章:http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html ,另外我还发现有同学引入了jieba分词库,这个库在做中文分词非常有用,感兴趣的可以去了解一下。

实现

分析完之后,我们实现起来其实是非常快的。所以我们在拿到一个需求的时候,首先肯定是把需求弄清楚,想想大概可以用哪些技术来实现,随后才是动手写代码,其实我们在工作上,真正写代码的时间还不到一半。

# -*- coding:utf-8 -*-
import io
import re
class Counter:
 def __init__(self, path):
 """
 :param path: 文件路径
 """
 self.mapping = dict()
 with io.open(path, encoding="utf-8") as f:
  data = f.read()
  words = [s.lower() for s in re.findall("\w+", data)]
  for word in words:
  self.mapping[word] = self.mapping.get(word, 0) + 1
 def most_common(self, n):
 assert n > 0, "n should be large than 0"
 return sorted(self.mapping.items(), key=lambda item: item[1], reverse=True)[:n]
if __name__ == '__main__':
 most_common_5 = Counter("importthis.txt").most_common(5)
 for item in most_common_5:
 print(item)

打印结果:

('is', 10)
('better', 8)
('than', 8)
('the', 6)
('to', 5)

总结

我在看大家代码的时候,很多代码依然存在有命名不规范(建议读PEP8),代码的排版混乱(阅读起来很困难,建议用Pycharm进行格式化)。还有不少代码的实现方式看起来很复杂(往往越复杂的代码Bug越多)。当然,实现方法不是唯一。

比如Python模块本身就提供了一个collections.Counter的类,它继承自dict类,就是用于做统计的,我发现有部分同学使用的就是这个类来实现的,细心的你可能发现了,我实现的这个Counter和collections下面那个Counter很像,其实这就是造轮子,造轮子可以锻炼我们的编程思维,当然在工作上有现成的东西就没必要自己造轮子了,除非你有信心做得更好。你也可以思考思考,假如Python没有提供Counter这个工具,你该怎么做。

另外,该模块还提供一个有序的字典对象 OrderedDict,使用它可以免去我们手动排序的操作。最后建议大家学习总结上面我提到的所有内容。如果你能坚持100天,相信你对Python的掌握程度是游刃有余的。

以上所述是小编给大家介绍的Python统计单词出现的次数,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python操作gmail实例
Jan 14 Python
Python实现矩阵转置的方法分析
Nov 24 Python
python dataframe常见操作方法:实现取行、列、切片、统计特征值
Jun 09 Python
对python中if语句的真假判断实例详解
Feb 18 Python
使用python搭建服务器并实现Android端与之通信的方法
Jun 28 Python
Python3实现汉语转换为汉语拼音
Jul 08 Python
Django 全局的static和templates的使用详解
Jul 19 Python
Django框架下静态模板的继承操作示例
Nov 08 Python
Python解析json代码实例解析
Nov 25 Python
详解pandas.DataFrame.plot() 画图函数
Jun 14 Python
python3 简单实现组合设计模式
Jul 02 Python
Python中的程序流程控制语句
Feb 24 Python
高效使用Python字典的清单
Apr 04 #Python
Python的numpy库中将矩阵转换为列表等函数的方法
Apr 04 #Python
python 列表,数组,矩阵两两转换tolist()的实例
Apr 04 #Python
使用Python设计一个代码统计工具
Apr 04 #Python
用 Python 连接 MySQL 的几种方式详解
Apr 04 #Python
Python基于辗转相除法求解最大公约数的方法示例
Apr 04 #Python
对numpy中数组元素的统一赋值实例
Apr 04 #Python
You might like
数组与类使用PHP的可变变量名需要的注意的问题
2013/06/20 PHP
Yii2前后台分离及migrate使用(七)
2016/05/04 PHP
PHP之图片上传类实例代码(加了缩略图)
2016/06/30 PHP
php利用云片网实现短信验证码功能的示例代码
2017/11/18 PHP
javascript中最常用的继承模式 组合继承
2010/08/12 Javascript
Jquery给基本控件的取值、赋值示例
2014/05/23 Javascript
js实现正方形颜色从下往上升的效果
2014/08/04 Javascript
JS控制表单提交的方法
2015/07/09 Javascript
javascript中alert()与console.log()的区别
2015/08/26 Javascript
JS简单获取当前年月日星期的方法示例
2017/02/07 Javascript
Express系列之multer上传的使用
2017/10/27 Javascript
Angular4.x通过路由守卫进行路由重定向实现根据条件跳转到相应的页面(推荐)
2018/05/10 Javascript
vue 解决computed修改data数据的问题
2019/11/06 Javascript
JS实现导航栏楼层特效
2020/01/01 Javascript
Vue自定义render统一项目组弹框功能
2020/06/07 Javascript
浅谈Python 中整型对象的存储问题
2016/05/16 Python
利用信号如何监控Django模型对象字段值的变化详解
2017/11/27 Python
Python实现的简单计算器功能详解
2018/08/25 Python
Python Opencv任意形状目标检测并绘制框图
2019/07/23 Python
Python计算公交发车时间的完整代码
2020/02/12 Python
Guess欧洲官网:美国服饰品牌
2019/08/06 全球购物
荣耀俄罗斯官网:HONOR俄罗斯
2020/10/31 全球购物
Vrbo西班牙:预订您的度假公寓(公寓、乡村房屋…)
2020/04/27 全球购物
智乐游戏测试笔试题
2014/05/21 面试题
laravel使用redis队列实例讲解
2021/03/23 PHP
个人求职简历的自我评价范文
2013/10/09 职场文书
后勤人员自我鉴定
2013/10/20 职场文书
高三英语教学反思
2014/01/13 职场文书
承诺书格式
2014/06/03 职场文书
国际经济与贸易专业求职信
2014/07/10 职场文书
部门活动策划方案
2014/08/16 职场文书
就业意向协议书
2015/01/29 职场文书
个人维稳承诺书
2015/05/04 职场文书
2015年财政局工作总结
2015/05/21 职场文书
怒海潜将观后感
2015/06/11 职场文书
婚礼双方父亲致辞
2015/07/27 职场文书