Python语言检测模块langid和langdetect的使用实例


Posted in Python onFebruary 19, 2019

之前使用数据编码风格检测的模块chardet比较多一点,今天提到的两个模块是检测数据的语言类型,比如是:中文还是英文,模块的使用方法也比较简单,我这里只是简单地使用了一下,因为项目中有这个需求,所以拿来用了一下,并没有深入地去研究这两个模块,模块的地址链接我都给出来了,需要的话可以去研究下:

def langidFunc():
  '''
  https://github.com/yishuihanhan/langid.py
  '''
  print langid.classify("We Are Family")
  print langid.classify("Questa e una prova")
  print langid.classify("我们都有一个家")
  identifier=LanguageIdentifier.from_modelstring(model,norm_probs=True)
  print identifier.classify("We Are Family")
 
def langdetectFunc():
  '''
  https://github.com/yishuihanhan/langdetect
  '''
  s1=u"本篇文章主要介绍两款语言探测工具,用于区分文本到底是什么语言,"
  s2=u'We are pleased to introduce today a new technology'
  print detect(s1)
  print detect(s2)
  print detect_langs(s2)  # detect_langs()输出探测出的所有语言类型及其所占的比例
  print detect_langs("Otec matka syn.")

结果如下:

('en', 9.061840057373047)
('it', -35.41771221160889)
('zh', -85.79573845863342)
('en', 0.16946150595865334)
zh-cn
en
[en:0.999998109575]
[pl:0.571426592237, fi:0.428568772028]

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
Python的shutil模块中文件的复制操作函数详解
Jul 05 Python
shell命令行,一键创建 python 模板文件脚本方法
Mar 20 Python
python实现内存监控系统
Mar 07 Python
使用Filter过滤python中的日志输出的实现方法
Jul 17 Python
Python3离线安装Requests模块问题
Oct 13 Python
Python中文分词库jieba,pkusegwg性能准确度比较
Feb 11 Python
Django自定义列表 models字段显示方式
Apr 03 Python
keras训练浅层卷积网络并保存和加载模型实例
Jul 02 Python
如何使用Django Admin管理后台导入CSV
Nov 06 Python
详解Python中@staticmethod和@classmethod区别及使用示例代码
Dec 14 Python
基于PyInstaller各参数的含义说明
Mar 04 Python
pytorch 如何使用batch训练lstm网络
May 28 Python
对python周期性定时器的示例详解
Feb 19 #Python
Python3数字求和的实例
Feb 19 #Python
对Python定时任务的启动和停止方法详解
Feb 19 #Python
python的schedule定时任务模块二次封装方法
Feb 19 #Python
Python3 max()函数基础用法
Feb 19 #Python
Python3 log10()函数简单用法
Feb 19 #Python
Python3中exp()函数用法分析
Feb 19 #Python
You might like
php函数的常用方法及注意之处小结
2011/07/10 PHP
Zend Framework教程之分发器Zend_Controller_Dispatcher用法详解
2016/03/07 PHP
javascript 写类方式之二
2009/07/05 Javascript
打造基于jQuery的高性能TreeView(asp.net)
2011/02/23 Javascript
json2.js的初步学习与了解
2011/10/06 Javascript
jQuery Mobile页面跳转后未加载外部JS原因分析及解决
2013/03/18 Javascript
node.js中的fs.lchown方法使用说明
2014/12/16 Javascript
javascript弹出窗口实现代码
2015/11/12 Javascript
jQuery实现标题有打字效果的焦点图代码
2015/11/16 Javascript
Active控件问题小结(附解决办法)
2016/06/09 Javascript
js 获取本地文件及目录的方法(推荐)
2016/11/10 Javascript
jQuery基于ajax方式实现用户名存在性检查功能示例
2017/02/10 Javascript
mpvue中配置vuex并持久化到本地Storage图文教程解析
2018/03/15 Javascript
适合前端Vue开发童鞋的跨平台Weex的使用详解
2019/10/16 Javascript
es6函数之尾递归用法实例分析
2020/04/25 Javascript
使用 Github Actions 自动部署 Angular 应用到 Github Pages的方法
2020/07/20 Javascript
VUE中V-IF条件判断改变元素的样式操作
2020/08/09 Javascript
vue3.0实现点击切换验证码(组件)及校验
2020/11/18 Vue.js
[06:43]DAC2018 4.5 SOLO赛 Maybe vs Paparazi
2018/04/06 DOTA
[00:10]DOTA2全国高校联赛速递
2018/05/30 DOTA
[13:25]VP vs VICI (BO3)
2018/06/07 DOTA
[08:17]Ti9 现场cosplay
2019/09/10 DOTA
python从网络读取图片并直接进行处理的方法
2015/05/22 Python
python3.6.3+opencv3.3.0实现动态人脸捕获
2018/05/25 Python
python面向对象入门教程之从代码复用开始(一)
2018/12/11 Python
详解Python中的测试工具
2019/06/09 Python
Python动态声明变量赋值代码实例
2019/12/30 Python
Python动态导入模块和反射机制详解
2020/02/18 Python
python爬虫开发之urllib模块详细使用方法与实例全解
2020/03/09 Python
python 使用paramiko模块进行封装,远程操作linux主机的示例代码
2020/12/03 Python
python 递归相关知识总结
2021/03/03 Python
2014年乡镇植树节活动方案
2014/02/28 职场文书
2014大学生职业生涯规划书最新范文
2014/09/13 职场文书
学生意外伤害赔偿协议书
2014/09/17 职场文书
六五普法心得体会2016
2016/01/21 职场文书
在 Golang 中实现 Cache::remember 方法详解
2021/03/30 Python