python 中文分词 工具包，如jieba,pkuseg，hanNLP ，下面介绍另外一种新的中文分词工具包foolnltk
FoolNLTK — 作者号称“可能不是最快的开源中文分词，但很可能是最准的开源中文分词”。
这个开源工具包基于BiLSTM模型训练而成，功能包含分词，词性标注，实体识别。并支持用户自定义词典，可训练自己的模型及批量处理文本。
如何安装：
pip install foolnltk
tensorflow2.x 系列 跑下面的任务会报如下错误：
from tensorflow.contrib.crf import viterbi_decode
ModuleNotFoundError: No module named 'tensorflow.contrib'
安装依赖：
pip install tensorflow-addons
将下面这个导入方式更改
from tensorflow.contrib.crf import viterbi_decode
改为
from tensorflow_addons.text import viterbi_decode
全部改完成功后，又报如下错误：
AttributeError: module 'tensorflow' has no attribute 'gfile'
解决方案：
在tensorflow2中：
问题产生的原因：在当前的版本中，gfile已经定义在io包的file_io.py中。
解决方案：
image_jpg = tf.io.gfile.GFile('dog.jpg', 'rb').read()
依然报错：
AttributeError: module 'tensorflow' has no attribute 'GraphDef'
解决办法：加入下面代码导入包
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
再次运行
# -*- coding: utf-8 -*-
# 导入包
import fool
text = "一个傻子在北京"
print(fool.cut(text))
运行结果：
[['一个', '傻子', '在', '北京']]
