Python统计单词出现的次数


Posted in Python onApril 04, 2018

题目:

统计一个文件中每个单词出现的次数,列出出现频率最多的5个单词。

前言:

这道题在实际应用场景中使用比较广泛,比如统计历年来四六级考试中出现的高频词汇,记得李笑来就利用他的编程技能出版过一本背单词的畅销书,就是根据词频来记单词,深受学生喜欢。这就是一个把编程技能用来解决实际问题的典型场景。另外,在数据分析时,那些词云效果本质上都是基于词频统计来调整字体的大小,如果你能熟练运用Python中的知识来解决问题的话,说明你真的入门Python了。

分析

本题主要考察以下几个方面的知识点:

1、如何正确读写文件

在python中读写文件可以使用内置函数open(),而 open 函数在python2 和 python3 中有一定的区别,比如 Python 中可以指定读写文件的编码格式,而 Python 则不可以,为了同时兼容2和3,我们通常会使用io模块下面的 open 函数,大家可以查文档搞清楚它们之间的区别,培养主动学习能力和查资料的习惯。

另外一点是读写文件完成之后是需要关闭文件描述符的,除了可以使用 try...except...finally的语法之后,我们还可以使用更优雅的 with … as 的语法来自动关闭文件。

2、如何对数据进行排序

sorted函数是一个使用频率很高的内置函数,它的用法也很强大,因为它可以通过指定参数 key 来进行自定义排序,也就意味着你不仅可以对数字排序、对字母排序、还可以对列表、字典、自定义的对象进行排序,你只需要要告诉 sorted 函数的排序规则是什么,比如一个people对象,我既可以根据年龄排序也可以根据身高体重来排序,所以这个函数时非常灵活的,另外,对于列表对象有自带的 sort 方法,如果能区分清楚 list.sort 与 sorted 之间区别那说明你已经能灵活运用了。

3、字典数据类型的运用

做词频统计,用字典无疑是最合适的数据类型,单词作为字典的key, 单词出现的次数作为字典的 value,很方便地就记录好了每个单词的频率,字典很像我们的电话本,每个名字关联一个电话号码。另外,字典最大的特点就是它的查询速度会非常快。理想情况下时间复杂度为O(1),我是说理想情况,如果你想深入了解字典的话,建议看看这篇文章 https://www.laurentluce.com/posts/python-dictionary-implementation/

4、正则表达式的运用

对文本、字符串处理,正则表达式简直是神器,无论是做数据爬虫还是数据清洗使用非常广泛,当然,正则表达式并不是Python特有的东西,所有编程语言都支持,我们要做的除了学习正则表达式还有他的API,只有熟悉了API我们才能运用到实际场景中去。关于正则表达式推荐一篇文章:http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html ,另外我还发现有同学引入了jieba分词库,这个库在做中文分词非常有用,感兴趣的可以去了解一下。

实现

分析完之后,我们实现起来其实是非常快的。所以我们在拿到一个需求的时候,首先肯定是把需求弄清楚,想想大概可以用哪些技术来实现,随后才是动手写代码,其实我们在工作上,真正写代码的时间还不到一半。

# -*- coding:utf-8 -*-
import io
import re
class Counter:
 def __init__(self, path):
 """
 :param path: 文件路径
 """
 self.mapping = dict()
 with io.open(path, encoding="utf-8") as f:
  data = f.read()
  words = [s.lower() for s in re.findall("\w+", data)]
  for word in words:
  self.mapping[word] = self.mapping.get(word, 0) + 1
 def most_common(self, n):
 assert n > 0, "n should be large than 0"
 return sorted(self.mapping.items(), key=lambda item: item[1], reverse=True)[:n]
if __name__ == '__main__':
 most_common_5 = Counter("importthis.txt").most_common(5)
 for item in most_common_5:
 print(item)

打印结果:

('is', 10)
('better', 8)
('than', 8)
('the', 6)
('to', 5)

总结

我在看大家代码的时候,很多代码依然存在有命名不规范(建议读PEP8),代码的排版混乱(阅读起来很困难,建议用Pycharm进行格式化)。还有不少代码的实现方式看起来很复杂(往往越复杂的代码Bug越多)。当然,实现方法不是唯一。

比如Python模块本身就提供了一个collections.Counter的类,它继承自dict类,就是用于做统计的,我发现有部分同学使用的就是这个类来实现的,细心的你可能发现了,我实现的这个Counter和collections下面那个Counter很像,其实这就是造轮子,造轮子可以锻炼我们的编程思维,当然在工作上有现成的东西就没必要自己造轮子了,除非你有信心做得更好。你也可以思考思考,假如Python没有提供Counter这个工具,你该怎么做。

另外,该模块还提供一个有序的字典对象 OrderedDict,使用它可以免去我们手动排序的操作。最后建议大家学习总结上面我提到的所有内容。如果你能坚持100天,相信你对Python的掌握程度是游刃有余的。

以上所述是小编给大家介绍的Python统计单词出现的次数,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python进程通信之匿名管道实例讲解
Apr 11 Python
Python读取Excel的方法实例分析
Jul 11 Python
python实现简单聊天应用 python群聊和点对点均实现
Sep 14 Python
对Python正则匹配IP、Url、Mail的方法详解
Dec 25 Python
Django异步任务之Celery的基本使用
Mar 23 Python
基于Python的Post请求数据爬取的方法详解
Jun 14 Python
Python利用WMI实现ping命令的例子
Aug 14 Python
python sorted函数的小练习及解答
Sep 18 Python
Python pickle模块实现对象序列化
Nov 22 Python
如何用python开发Zeroc Ice应用
Jan 29 Python
分享提高 Python 代码的可读性的技巧
Mar 03 Python
Python OpenGL基本配置方式
May 20 Python
高效使用Python字典的清单
Apr 04 #Python
Python的numpy库中将矩阵转换为列表等函数的方法
Apr 04 #Python
python 列表,数组,矩阵两两转换tolist()的实例
Apr 04 #Python
使用Python设计一个代码统计工具
Apr 04 #Python
用 Python 连接 MySQL 的几种方式详解
Apr 04 #Python
Python基于辗转相除法求解最大公约数的方法示例
Apr 04 #Python
对numpy中数组元素的统一赋值实例
Apr 04 #Python
You might like
《猛禽小队》:DC宇宙的又一超级大烂片
2020/04/09 欧美动漫
轻松入门: 煮好咖啡的七个诀窍
2021/03/03 冲泡冲煮
PHP中的cookie
2006/11/26 PHP
《PHP编程最快明白》第三讲:php数组
2010/11/01 PHP
CentOS 6.3下安装PHP xcache扩展模块笔记
2014/09/10 PHP
php实现微信公众号无限群发
2015/10/11 PHP
php校验公钥是否可用的实例方法
2019/09/17 PHP
JS 页面计时器示例代码
2013/10/28 Javascript
JavaScript的代码编写格式规范指南
2015/12/07 Javascript
基于Javascript实现返回顶部按钮
2016/02/29 Javascript
JavaScript SHA-256加密算法详细代码
2016/10/06 Javascript
jquery+css3问卷答题卡翻页动画效果示例
2016/10/26 Javascript
给easyui datebox扩展一个清空的实例
2016/11/09 Javascript
JS声明式函数与赋值式函数实例分析
2016/12/13 Javascript
jQuery按需加载轮播图(web前端性能优化)
2017/02/17 Javascript
JS简单实现点击按钮或文字显示遮罩层的方法
2017/04/27 Javascript
详解Vue 中 extend 、component 、mixins 、extends 的区别
2017/12/20 Javascript
vue2.0+koa2+mongodb实现注册登录
2018/04/10 Javascript
浅谈super-vuex使用体验
2018/06/25 Javascript
JS返回页面时自动回滚到历史浏览位置
2018/09/26 Javascript
Vue中跨域及打包部署到nginx跨域设置方法
2019/08/26 Javascript
Python面向对象特殊成员
2017/04/24 Python
浅谈关于Python3中venv虚拟环境
2018/08/01 Python
python如何统计代码运行的时长
2019/07/24 Python
如何使用Python脚本实现文件拷贝
2019/11/20 Python
解决Tensorflow占用GPU显存问题
2020/02/03 Python
如何在Windows中安装多个python解释器
2020/06/16 Python
Python reques接口测试框架实现代码
2020/07/28 Python
经济学人订阅:The Economist
2018/07/19 全球购物
优秀医生事迹材料
2014/02/12 职场文书
优秀班集体申报材料
2014/12/25 职场文书
个人先进事迹总结
2015/02/26 职场文书
自主招生自荐信格式
2015/03/04 职场文书
2015年外联部工作总结
2015/04/03 职场文书
小学班主任工作总结2015
2015/04/07 职场文书
2015年政治教研组工作总结
2015/07/22 职场文书