Python语言检测模块langid和langdetect的使用实例


Posted in Python onFebruary 19, 2019

之前使用数据编码风格检测的模块chardet比较多一点,今天提到的两个模块是检测数据的语言类型,比如是:中文还是英文,模块的使用方法也比较简单,我这里只是简单地使用了一下,因为项目中有这个需求,所以拿来用了一下,并没有深入地去研究这两个模块,模块的地址链接我都给出来了,需要的话可以去研究下:

def langidFunc():
  '''
  https://github.com/yishuihanhan/langid.py
  '''
  print langid.classify("We Are Family")
  print langid.classify("Questa e una prova")
  print langid.classify("我们都有一个家")
  identifier=LanguageIdentifier.from_modelstring(model,norm_probs=True)
  print identifier.classify("We Are Family")
 
def langdetectFunc():
  '''
  https://github.com/yishuihanhan/langdetect
  '''
  s1=u"本篇文章主要介绍两款语言探测工具,用于区分文本到底是什么语言,"
  s2=u'We are pleased to introduce today a new technology'
  print detect(s1)
  print detect(s2)
  print detect_langs(s2)  # detect_langs()输出探测出的所有语言类型及其所占的比例
  print detect_langs("Otec matka syn.")

结果如下:

('en', 9.061840057373047)
('it', -35.41771221160889)
('zh', -85.79573845863342)
('en', 0.16946150595865334)
zh-cn
en
[en:0.999998109575]
[pl:0.571426592237, fi:0.428568772028]

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
python使用正则表达式检测密码强度源码分享
Jun 11 Python
Python中让MySQL查询结果返回字典类型的方法
Aug 22 Python
python MySQLdb Windows下安装教程及问题解决方法
May 09 Python
python DataFrame 修改列的顺序实例
Apr 10 Python
python 发送和接收ActiveMQ消息的实例
Jan 30 Python
在Python函数中输入任意数量参数的实例
Jul 16 Python
Python交互式图形编程的实现
Jul 25 Python
Python实现TCP探测目标服务路由轨迹的原理与方法详解
Sep 04 Python
python:动态路由的Flask程序代码
Nov 22 Python
解决python-docx打包之后找不到default.docx的问题
Feb 13 Python
Python常用外部指令执行代码实例
Nov 05 Python
PYTHON 使用 Pandas 删除某列指定值所在的行
Apr 28 Python
对python周期性定时器的示例详解
Feb 19 #Python
Python3数字求和的实例
Feb 19 #Python
对Python定时任务的启动和停止方法详解
Feb 19 #Python
python的schedule定时任务模块二次封装方法
Feb 19 #Python
Python3 max()函数基础用法
Feb 19 #Python
Python3 log10()函数简单用法
Feb 19 #Python
Python3中exp()函数用法分析
Feb 19 #Python
You might like
日本十大科幻动漫 宇宙骑士垫底,第一已成经典
2020/03/04 日漫
业余方法DIY电子管FM收音机
2021/03/02 无线电
PHP根据传来的16进制颜色代码自动改变背景颜色
2014/06/13 PHP
浅谈ThinkPHP的URL重写
2014/11/25 PHP
php实现读取内存顺序号
2015/03/29 PHP
遍历指定目录,并存储目录内所有文件属性信息的php代码
2016/10/28 PHP
PHP实现数据库统计时间戳按天分组输出数据的方法
2017/10/10 PHP
PHP中PDO事务处理操作示例
2018/05/02 PHP
获取div编辑框,textarea,input text的光标位置 兼容IE,FF和Chrome的方法介绍
2012/11/08 Javascript
jquery获取tr并更改tr内容示例代码
2014/02/13 Javascript
jQuery中replaceWith()方法用法实例
2014/12/25 Javascript
把Node.js程序加入服务实现随机启动
2015/06/25 Javascript
利用纯Vue.js构建Bootstrap组件
2016/11/03 Javascript
详解nodejs 文本操作模块-fs模块(五)
2016/12/23 NodeJs
JS使用正则实现去掉字符串左右空格的方法
2016/12/27 Javascript
jQuery 控制文本框自动缩小字体填充
2017/06/16 jQuery
vue监听键盘事件的快捷方法【推荐】
2018/07/11 Javascript
jQuery 点击获取验证码按钮及倒计时功能
2018/09/20 jQuery
使用JavaScript实现贪吃蛇游戏
2020/09/29 Javascript
查看Python安装路径以及安装包路径小技巧
2015/04/28 Python
Python Tkinter模块实现时钟功能应用示例
2018/07/23 Python
在Django中URL正则表达式匹配的方法
2018/12/20 Python
python opencv 读取图片 返回图片某像素点的b,g,r值的实现方法
2019/07/03 Python
python 搜索大文件的实例代码
2019/07/08 Python
python自动化发送邮件实例讲解
2021/01/04 Python
梅西百货澳大利亚:Macy’s Australia
2017/07/26 全球购物
英国家庭珠宝商:T. H. Baker
2018/02/08 全球购物
英国顶级足球鞋的领先零售商:Lovell Soccer
2019/08/27 全球购物
阿迪达斯中国官网:Adidas中国
2020/12/14 全球购物
大学生职业生涯规划范文
2014/01/08 职场文书
美术教学感言
2014/02/22 职场文书
运输企业安全生产责任书
2014/07/28 职场文书
办公室主任岗位职责范本
2015/03/31 职场文书
2015年社区工会工作总结
2015/05/26 职场文书
优秀家长事迹材料(2016推荐版)
2016/02/29 职场文书
Windows Server 2016 配置 IIS 的详细步骤
2022/04/28 Servers