Python语言检测模块langid和langdetect的使用实例


Posted in Python onFebruary 19, 2019

之前使用数据编码风格检测的模块chardet比较多一点,今天提到的两个模块是检测数据的语言类型,比如是:中文还是英文,模块的使用方法也比较简单,我这里只是简单地使用了一下,因为项目中有这个需求,所以拿来用了一下,并没有深入地去研究这两个模块,模块的地址链接我都给出来了,需要的话可以去研究下:

def langidFunc():
  '''
  https://github.com/yishuihanhan/langid.py
  '''
  print langid.classify("We Are Family")
  print langid.classify("Questa e una prova")
  print langid.classify("我们都有一个家")
  identifier=LanguageIdentifier.from_modelstring(model,norm_probs=True)
  print identifier.classify("We Are Family")
 
def langdetectFunc():
  '''
  https://github.com/yishuihanhan/langdetect
  '''
  s1=u"本篇文章主要介绍两款语言探测工具,用于区分文本到底是什么语言,"
  s2=u'We are pleased to introduce today a new technology'
  print detect(s1)
  print detect(s2)
  print detect_langs(s2)  # detect_langs()输出探测出的所有语言类型及其所占的比例
  print detect_langs("Otec matka syn.")

结果如下:

('en', 9.061840057373047)
('it', -35.41771221160889)
('zh', -85.79573845863342)
('en', 0.16946150595865334)
zh-cn
en
[en:0.999998109575]
[pl:0.571426592237, fi:0.428568772028]

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
python使用Berkeley DB数据库实例
Sep 26 Python
Python中字典映射类型的学习教程
Aug 20 Python
django使用图片延时加载引起后台404错误
Apr 18 Python
python 用for循环实现1~n求和的实例
Feb 01 Python
基于python二叉树的构造和打印例子
Aug 09 Python
python+opencv实现车牌定位功能(实例代码)
Dec 24 Python
python入门之井字棋小游戏
Mar 05 Python
Python基于read(size)方法读取超大文件
Mar 12 Python
keras的siamese(孪生网络)实现案例
Jun 12 Python
如何在python中判断变量的类型
Jul 29 Python
教你怎么用Python selenium操作浏览器对象的基础API
Jun 23 Python
详解在OpenCV中如何使用图像像素
Mar 03 Python
对python周期性定时器的示例详解
Feb 19 #Python
Python3数字求和的实例
Feb 19 #Python
对Python定时任务的启动和停止方法详解
Feb 19 #Python
python的schedule定时任务模块二次封装方法
Feb 19 #Python
Python3 max()函数基础用法
Feb 19 #Python
Python3 log10()函数简单用法
Feb 19 #Python
Python3中exp()函数用法分析
Feb 19 #Python
You might like
Ajax PHP分页演示
2007/01/02 PHP
用php来限制每个ip每天浏览页面数量的实现思路
2015/02/24 PHP
PHP流Streams、包装器wrapper概念与用法实例详解
2017/11/17 PHP
php读取本地json文件的实例
2018/03/07 PHP
Yii Framework框架使用PHPExcel组件的方法示例
2019/07/24 PHP
php常用经典函数集锦【数组、字符串、栈、队列、排序等】
2019/08/23 PHP
js prototype 格式化数字 By shawl.qiu
2007/04/02 Javascript
javascript options属性集合操作代码
2009/12/28 Javascript
JavaScript Chart 插件整理
2010/06/18 Javascript
使用AngularJS中的SCE来防止XSS攻击的方法
2015/06/18 Javascript
浅谈JS运算符&&和|| 及其优先级
2016/08/10 Javascript
webpack配置导致字体图标无法显示的解决方法
2018/03/06 Javascript
vue组件之间数据传递的方法实例分析
2019/02/12 Javascript
JavaScript中的执行环境和作用域链
2020/09/04 Javascript
vue实现图片裁剪后上传
2020/12/16 Vue.js
Python单元测试框架unittest使用方法讲解
2015/04/13 Python
Python实现求最大公约数及判断素数的方法
2015/05/26 Python
解决python2.7用pip安装包时出现错误的问题
2017/01/23 Python
Python升级导致yum、pip报错的解决方法
2017/09/06 Python
python操作xlsx文件的包openpyxl实例
2018/05/03 Python
Python 中的range(),以及列表切片方法
2018/07/02 Python
python实现移位加密和解密
2019/03/22 Python
python 直接赋值和copy的区别详解
2019/08/07 Python
Python3监控windows,linux系统的CPU、硬盘、内存使用率和各个端口的开启情况详细代码实例
2020/03/18 Python
Python实现aes加密解密多种方法解析
2020/05/15 Python
python连接mysql有哪些方法
2020/06/24 Python
Prometheus开发中间件Exporter过程详解
2020/11/30 Python
应届大学生求职的自我评价
2013/11/17 职场文书
汽车专业学生自我评价
2014/01/19 职场文书
精通CAD能手自荐书
2014/01/31 职场文书
党支部书记四风问题整改措施
2014/09/24 职场文书
2016自主招生教师推荐信范文
2015/03/23 职场文书
2019最新版劳务派遣管理制度
2019/08/16 职场文书
《中国古代诗歌散文欣赏》高中语文教材
2019/08/20 职场文书
创业计划书之网络外卖
2019/10/31 职场文书
React自定义hook的方法
2022/06/25 Javascript