Python统计单词出现的次数


Posted in Python onApril 04, 2018

题目:

统计一个文件中每个单词出现的次数,列出出现频率最多的5个单词。

前言:

这道题在实际应用场景中使用比较广泛,比如统计历年来四六级考试中出现的高频词汇,记得李笑来就利用他的编程技能出版过一本背单词的畅销书,就是根据词频来记单词,深受学生喜欢。这就是一个把编程技能用来解决实际问题的典型场景。另外,在数据分析时,那些词云效果本质上都是基于词频统计来调整字体的大小,如果你能熟练运用Python中的知识来解决问题的话,说明你真的入门Python了。

分析

本题主要考察以下几个方面的知识点:

1、如何正确读写文件

在python中读写文件可以使用内置函数open(),而 open 函数在python2 和 python3 中有一定的区别,比如 Python 中可以指定读写文件的编码格式,而 Python 则不可以,为了同时兼容2和3,我们通常会使用io模块下面的 open 函数,大家可以查文档搞清楚它们之间的区别,培养主动学习能力和查资料的习惯。

另外一点是读写文件完成之后是需要关闭文件描述符的,除了可以使用 try...except...finally的语法之后,我们还可以使用更优雅的 with … as 的语法来自动关闭文件。

2、如何对数据进行排序

sorted函数是一个使用频率很高的内置函数,它的用法也很强大,因为它可以通过指定参数 key 来进行自定义排序,也就意味着你不仅可以对数字排序、对字母排序、还可以对列表、字典、自定义的对象进行排序,你只需要要告诉 sorted 函数的排序规则是什么,比如一个people对象,我既可以根据年龄排序也可以根据身高体重来排序,所以这个函数时非常灵活的,另外,对于列表对象有自带的 sort 方法,如果能区分清楚 list.sort 与 sorted 之间区别那说明你已经能灵活运用了。

3、字典数据类型的运用

做词频统计,用字典无疑是最合适的数据类型,单词作为字典的key, 单词出现的次数作为字典的 value,很方便地就记录好了每个单词的频率,字典很像我们的电话本,每个名字关联一个电话号码。另外,字典最大的特点就是它的查询速度会非常快。理想情况下时间复杂度为O(1),我是说理想情况,如果你想深入了解字典的话,建议看看这篇文章 https://www.laurentluce.com/posts/python-dictionary-implementation/

4、正则表达式的运用

对文本、字符串处理,正则表达式简直是神器,无论是做数据爬虫还是数据清洗使用非常广泛,当然,正则表达式并不是Python特有的东西,所有编程语言都支持,我们要做的除了学习正则表达式还有他的API,只有熟悉了API我们才能运用到实际场景中去。关于正则表达式推荐一篇文章:http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html ,另外我还发现有同学引入了jieba分词库,这个库在做中文分词非常有用,感兴趣的可以去了解一下。

实现

分析完之后,我们实现起来其实是非常快的。所以我们在拿到一个需求的时候,首先肯定是把需求弄清楚,想想大概可以用哪些技术来实现,随后才是动手写代码,其实我们在工作上,真正写代码的时间还不到一半。

# -*- coding:utf-8 -*-
import io
import re
class Counter:
 def __init__(self, path):
 """
 :param path: 文件路径
 """
 self.mapping = dict()
 with io.open(path, encoding="utf-8") as f:
  data = f.read()
  words = [s.lower() for s in re.findall("\w+", data)]
  for word in words:
  self.mapping[word] = self.mapping.get(word, 0) + 1
 def most_common(self, n):
 assert n > 0, "n should be large than 0"
 return sorted(self.mapping.items(), key=lambda item: item[1], reverse=True)[:n]
if __name__ == '__main__':
 most_common_5 = Counter("importthis.txt").most_common(5)
 for item in most_common_5:
 print(item)

打印结果:

('is', 10)
('better', 8)
('than', 8)
('the', 6)
('to', 5)

总结

我在看大家代码的时候,很多代码依然存在有命名不规范(建议读PEP8),代码的排版混乱(阅读起来很困难,建议用Pycharm进行格式化)。还有不少代码的实现方式看起来很复杂(往往越复杂的代码Bug越多)。当然,实现方法不是唯一。

比如Python模块本身就提供了一个collections.Counter的类,它继承自dict类,就是用于做统计的,我发现有部分同学使用的就是这个类来实现的,细心的你可能发现了,我实现的这个Counter和collections下面那个Counter很像,其实这就是造轮子,造轮子可以锻炼我们的编程思维,当然在工作上有现成的东西就没必要自己造轮子了,除非你有信心做得更好。你也可以思考思考,假如Python没有提供Counter这个工具,你该怎么做。

另外,该模块还提供一个有序的字典对象 OrderedDict,使用它可以免去我们手动排序的操作。最后建议大家学习总结上面我提到的所有内容。如果你能坚持100天,相信你对Python的掌握程度是游刃有余的。

以上所述是小编给大家介绍的Python统计单词出现的次数,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python实现1-9数组形成的结果为100的所有运算式的示例
Nov 03 Python
python字典操作实例详解
Nov 16 Python
python操作excel的方法(xlsxwriter包的使用)
Jun 11 Python
python3实现SMTP发送邮件详细教程
Jun 19 Python
使用Python操作FTP实现上传和下载的方法
Apr 01 Python
python Django框架实现web端分页呈现数据
Oct 31 Python
查看端口并杀进程python脚本代码
Dec 17 Python
从多个tfrecord文件中无限读取文件的例子
Feb 17 Python
python如何通过闭包实现计算器的功能
Feb 22 Python
Python Serial串口基本操作(收发数据)
Nov 06 Python
python 实现性别识别
Nov 21 Python
python四个坐标点对图片区域最小外接矩形进行裁剪
Jun 04 Python
高效使用Python字典的清单
Apr 04 #Python
Python的numpy库中将矩阵转换为列表等函数的方法
Apr 04 #Python
python 列表,数组,矩阵两两转换tolist()的实例
Apr 04 #Python
使用Python设计一个代码统计工具
Apr 04 #Python
用 Python 连接 MySQL 的几种方式详解
Apr 04 #Python
Python基于辗转相除法求解最大公约数的方法示例
Apr 04 #Python
对numpy中数组元素的统一赋值实例
Apr 04 #Python
You might like
php 用sock技术发送邮件的函数
2007/07/21 PHP
Php Cookie的一个使用注意点
2008/11/08 PHP
PHP+swoole实现简单多人在线聊天群发
2016/01/19 PHP
php 无限分类 树形数据格式化代码
2016/10/11 PHP
用php和jQuery来实现“顶”和“踩”的投票功能
2016/10/13 PHP
JQuery 无废话系列教程(二) jquery实战篇上
2009/06/23 Javascript
ASP.NET中基于JQUERY的高性能的TreeView补充
2011/02/23 Javascript
JavaScript中判断页面关闭、页面刷新的实现代码
2014/08/27 Javascript
AngularJs 60分钟入门基础教程
2016/04/03 Javascript
jQuery simpleModal插件的使用介绍
2016/08/30 Javascript
vuejs通过filterBy、orderBy实现搜索筛选、降序排序数据
2020/10/26 Javascript
nodejs socket实现的服务端和客户端功能示例
2017/06/02 NodeJs
js遍历添加栏目类添加css 再点击其它删除css【推荐】
2018/06/12 Javascript
jQuery实现图片简单轮播功能示例
2018/08/13 jQuery
React学习之受控组件与数据共享实例分析
2020/01/06 Javascript
Vue中使用better-scroll实现轮播图组件
2020/03/07 Javascript
jQuery 常用特效实例小结【显示与隐藏、淡入淡出、滑动、动画等】
2020/05/19 jQuery
python实现用户登陆邮件通知的方法
2015/07/09 Python
vue.js实现输入框输入值内容实时响应变化示例
2018/07/07 Python
对python数据切割归并算法的实例讲解
2018/12/12 Python
Python 控制终端输出文字的实例
2019/07/12 Python
PyCharm使用之配置SSH Interpreter的方法步骤
2019/12/26 Python
详解pandas中利用DataFrame对象的.loc[]、.iloc[]方法抽取数据
2020/12/13 Python
python字典与json转换的方法总结
2020/12/28 Python
html5 input元素新特性_动力节点Java学院整理
2017/07/06 HTML / CSS
Staples美国官方网站:办公用品一站式采购
2016/07/28 全球购物
犹他州最古老的体育用品公司:Al’s
2020/12/18 全球购物
鞋类设计与工艺专业销售求职信
2013/11/01 职场文书
物理教学随笔感言
2014/02/22 职场文书
村党的群众路线教育实践活动工作总结
2014/10/25 职场文书
财务人员个人工作总结
2015/02/27 职场文书
2015年校务公开工作总结
2015/05/26 职场文书
2016新年感言
2015/08/03 职场文书
《彼得与狼》教学反思
2016/02/20 职场文书
Oracle 多表查询基本语法实例
2022/04/18 Oracle
基于Python实现西西成语接龙小助手
2022/08/05 Golang