python分词工具，你用哪个？
点击上方蓝色小字，关注“涛哥聊Python”
重磅干货，第一时间送达
来源：Python之禅
分词在自然语言处理中有着常见的场景，比如从一篇文章自动提取关键词就需要用到分词工具，中文搜索领域同样离不开分词，python中，有很多开源的分词工具。下面来介绍以下常见的几款。
1. jieba 分词
“结巴”分词，GitHub最受欢迎的分词工具，立志做最好的 Python 中文分词组件，支持多种分词模式，支持自定义词典。
github star：26k
代码示例
import jiebastrs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]for str in strs:seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式print("Paddle Mode: " + '/'.join(list(seg_list)))seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("全模式: " + "/ ".join(seg_list)) # 全模式seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("精确模式: " + "/ ".join(seg_list)) # 精确模式seg_list = jieba.cut("他来到了网易杭研大厦") # 默认是精确模式
print("新词识别：", ",".join(seg_list))seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造") # 搜索引擎模式
print("搜索引擎模式:", ".join(seg_list))
输出：
【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学【精确模式】: 我/ 来到/ 北京/ 清华大学【新词识别】：他, 来到, 了, 网易, 杭研, 大厦 (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造
github地址：https://github.com/fxsjy/jieba
2. pkuseg 分词
pkuseg 是北大语言计算与机器学习研究组开源的一款分词工具，它的特点是支持多领域分词，目前支持新闻领域，网络领域，医药领域，旅游领域，以及混合领域的分词预训练模型，用户可以自由地选择不同的模型。相比通用分词工具，它的分词准确率更高 。
github star：5.4k
代码示例
import pkusegseg = pkuseg.pkuseg() # 以默认配置加载模型
text = seg.cut('python是一门很棒的语言') # 进行分词
print(text)
输出
['python', '是', '一', '门', '很', '棒', '的', '语言']
github地址：https://github.com/lancopku/pkuseg-python
3. FoolNLTK 分词
基于BiLSTM模型训练而成，据说可能是最准的开源中文分词，同样支持用户自定义词典。
GitHub star: 1.6k
代码示例
import fooltext = "一个傻子在北京"
print(fool.cut(text))
# ['一个', '傻子', '在', '北京']
github地址：https://github.com/rockyzhengwu/FoolNLTK
4. THULAC
THULAC由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包。具有词性标注功能，能分析出某个词是名词还是动词或者形容词。
github star：1.5k
代码示例1代码示例1import thulac thu1 = thulac.thulac() #默认模式text = thu1.cut("我爱北京天安门", text=True) #进行一句话分词print(text) # 我_r 爱_v 北京_ns 天安门_ns代码示例2thu1 = thulac.thulac(seg_only=True) #只进行分词，不进行词性标注thu1.cut_f("input.txt", "output.txt") #对input.txt文件内容进行分词，输出到output.txt
github地址：https://github.com/thunlp/THULAC-Python
目前我在用的还是结巴分词，配合用户自定义词典，解决常见的网络词语。你在用什么分词工具，欢迎留下你的意见。
往期链接：
Python 超级强大的模式匹配工具—Pampy
Selenium 最强反反爬方案来了！
太强了！只一行代码，让 Python速度提升数10倍！
·················END·················
你好，我是Sitin涛哥，非著名程序员，项目经理，现在创业中。
在公众号和视频号「涛哥聊Python」分享我的升级打怪经验！
很开心能够遇到你，欢迎添加我的微信 pengtaoshow ，备注来意，一起进步。
圈子即是价值，见识即财富。
感兴趣的小伙伴快来加入我们吧！
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！