时间:2021-05-22
之前使用数据编码风格检测的模块chardet比较多一点,今天提到的两个模块是检测数据的语言类型,比如是:中文还是英文,模块的使用方法也比较简单,我这里只是简单地使用了一下,因为项目中有这个需求,所以拿来用了一下,并没有深入地去研究这两个模块,模块的地址链接我都给出来了,需要的话可以去研究下:
def langidFunc(): ''' https://github.com/yishuihanhan/langid.py ''' print langid.classify("We Are Family") print langid.classify("Questa e una prova") print langid.classify("我们都有一个家") identifier=LanguageIdentifier.from_modelstring(model,norm_probs=True) print identifier.classify("We Are Family") def langdetectFunc(): ''' https://github.com/yishuihanhan/langdetect ''' s1=u"本篇文章主要介绍两款语言探测工具,用于区分文本到底是什么语言," s2=u'We are pleased to introduce today a new technology' print detect(s1) print detect(s2) print detect_langs(s2) # detect_langs()输出探测出的所有语言类型及其所占的比例 print detect_langs("Otec matka syn.")结果如下:
('en', 9.061840057373047)
('it', -35.41771221160889)
('zh', -85.79573845863342)
('en', 0.16946150595865334)
zh-cn
en
[en:0.999998109575]
[pl:0.571426592237, fi:0.428568772028]
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
Python语言功能非常强大,除了类之外,还有模块和包的概念,这有点像perl,此处简单说说包和模块。一、Python中的模块模块——其实就是我们说的库(lib
python系统调用的实例详解本文将通过两种方法对python系统调用进行讲解,包括python使用CreateProcess函数运行其他程序和ctypes模块
本文实例讲述了Python使用pyautogui模块实现自动化鼠标和键盘操作。分享给大家供大家参考,具体如下:一、pyautogui模块简要说明##使用pyau
本文实例讲述了Python使用crontab模块设置和清除定时任务操作。分享给大家供大家参考,具体如下:centos7下安装Python的piproot用户使用
python是一个很有趣的语言,可以在命令行窗口运行。python中有很多功能强大的模块,这篇经验告诉你,如何使用python的pygal模块绘制反正切函数图像