通常，我们在做分词的时候，需要用到jieba(中文分词)，或直接以空格进行分词（英文分词）等，下面会介绍一下一个简单的中文分词工具的实现方式。
首先是准备词库
我们可以利用清华大学开源词库或其他人分享的词库等创建分词词库，本篇是拿一个本地文件举例创建的词库。
import pandas as pd
df = pd.read_excel('data/dic.xlsx',header=0)
# TODO: 从dic中读取所有中文词
words = [i[0] for i in np.array(df.iloc[:,0:1]).tolist()]
进行分词
在这里，我想实现的是，通过分词词库，以list的方式返回所有可行的结果。逻辑可以参考leetcode上的word-break-ii。
因为我们需要得到所有可行结果，这里我们可以使用动态规划的思路对问题进行细分：假如我们现在要切割的是字符串s = ‘S1S2S3…S10’（Si表示字符串中第i个字符），我们可以生成一个DP，其中DP[i]表示 S1S2…Si这一段字符串是否完全可分。若DP[i]=True则完全可分，dp[i]=False则不完全可分。
引申到下一层，DP[i]=True则意味着:
DP[i-1] = True and Si in words
or DP[i-2] = True and S(i-1)Si in words
…
or DP[0] = True and S1S2…Si in words
例如，DP[1] = True 意味着:
S1 in words
然后DP[2] = True 意味着:
DP[1] = True and S2 in words
or S1S2 in words
以此类推，可以得到DP[1]至DP[i]的所有值（DP[0]固定为True）
转换成代码，就是下面这样:
def check(input_str,words):
dp = [False for i in range(len(input_str)+1)]
dp[0] = True
for index in range(1,len(input_str)+1):
for i in range(0,index):
if dp[i] is True and input_str[i:index] in words:
dp[index] = True
return dp[len(input_str)]
当拿到了DP后，我们使用DP对输入的input做处理
res = []
def word_segment(input_str,strl=''):
"""
对于输入字符串做分词，并返回所有可行的分词之后的结果。
"""
if check(input_str,words):
if len(input_str) == 0:
res.append(strl[1:])
for i in range(1, len(input_str)+1):
if input_str[:i] in words:
word_segment(input_str[i:],strl+' '+input_str[:i])
return res
到这里，一个简单的分词工具就实现了，我们可以测试一下
print (word_segment("我们学习人工智能人工智能是未来"))
输出结果
['我 们 学 习 人 工 智 能 人 工 智 能 是 未 来', '我 们 学 习 人 工 智 能 人 工 智 能 是 未来', '我 们 学 习 人 工 智 能 人 工 智能 是 未 来', '我 们 学 习 人 工 智 能 人 工 智能 是 未来', '我 们 学 习 人 工 智 能 人 工智 能 是 未 来', '我 们 学 习 人 工 智 能 人 工智 能 是 未来', '我 们 学 习 人 工 智 能 人工 智 能 是 未 来', '我 们 学 习 人 工 智 能 人工 智 能 是 未来', '我 们 学 习 人 工 智 能 人工 智能 是 未 来', '我 们 学 习 人 工 智 能 人工 智能 是 未来', '我 们 学 习 人 工 智 能 人工智能 是 未 来', '我 们 学 习 人 工 智 能 人工智能 是 未来', '我 们 学 习 人 工 智 能人 工 智 能 是 未 来', '我 们 学 习 人 工 智 能人 工 智 能 是 未来', '我 们 学 习 人 工 智 能人 工 智能 是 未 来', '我 们 学 习 人 工 智 能人 工 智能 是 未来', '我 们 学 习 人 工 智 能人 工智 能 是 未 来', '我 们 学 习 人 工 智 能人 工智 能 是 未来', '我 们 学 习 人 工 智能 人 工 智 能 是 未 来', '我 们 学 习 人 工 智能 人 工 智 能 是 未来', '我 们 学 习 人 工 智能 人 工 智能 是 未 来', '我 们 学 习 人 工 智能 人 工 智能 是 未来', '我 们 学 习 人 工 智能 人 工智 能 是 未 来', '我 们 学 习 人 工 智能 人 工智 能 是 未来', '我 们 学 习 人 工 智能 人工 智 能 是 未 来', '我 们 学 习 人 工 智能 人工 智 能 是 未来', '我 们 学 习 人 工 智能 人工 智能 是 未 来', '我 们 学 习 人 工 智能 人工 智能 是 未来', '我 们 学 习 人 工 智能 人工智能 是 未 来', '我 们 学 习 人 工 智能 人工智能 是 未来', '我 们 学 习 人 工智 能 人 工 智 能 是 未 来', '我 们 学 习 人 工智 能 人 工 智 能 是 未来', '我 们 学 习 人 工智 能 人 工 智能 是 未 来', '我 们 学 习 人 工智 能 人 工 智能 是 未来', '我 们 学 习 人 工智 能 人 工智 能 是 未 来', '我 们 学 习 人 工智 能 人 工智 能 是 未来', '我 们 学 习 人 工智 能 人工 智 能 是 未 来', '我 们 学 习 人 工智 能 人工 智 能 是 未来', '我 们 学 习 人 工智 能 人工 智能 是 未 来', '我 们 学 习 人 工智 能 人工 智能 是 未来', '我 们 学 习 人 工智 能 人工智能 是 未 来', '我 们 学 习 人 工智 能 人工智能 是 未来', '我 们 学 习 人 工智 能人 工 智 能 是 未 来', '我 们 学 习 人 工智 能人 工 智 能 是 未来', '我 们 学 习 人 工智 能人 工 智能 是 未 来', '我 们 学 习 人 工智 能人 工 智能 是 未来', '我 们 学 习 人 工智 能人 工智 能 是 未 来', '我 们 学 习 人 工智 能人 工智 能 是 未来', '我 们 学 习 人工 智 能 人 工 智 能 是 未 来', '我 们 学 习 人工 智 能 人 工 智 能 是 未来', '我 们 学 习 人工 智 能 人 工 智能 是 未 来', '我 们 学 习 人工 智 能 人 工 智能 是 未来', '我 们 学 习 人工 智 能 人 工智 能 是 未 来', '我 们 学 习 人工 智 能 人 工智 能 是 未来', '我 们 学 习 人工 智 能 人工 智 能 是 未 来', '我 们 学 习 人工 智 能 人工 智 能 是 未来', '我 们 学 习 人工 智 能 人工 智能 是 未 来', '我 们 学 习 人工 智 能 人工 智能 是 未来', '我 们 学 习 人工 智 能 人工智能 是 未 来', '我 们 学 习 人工 智 能 人工智能 是 未来', '我 们 学 习 人工 智 能人 工 智 能 是 未 来', '我 们 学 习 人工 智 能人 工 智 能 是 未来', '我 们 学 习 人工 智 能人 工 智能 是 未 来', '我 们 学 习 人工 智 能人 工 智能 是 未来', '我 们 学 习 人工 智 能人 工智 能 是 未 来', '我 们 学 习 人工 智 能人 工智 能 是 未来', '我 们 学 习 人工 智能 人 工 智 能 是 未 来', '我 们 学 习 人工 智能 人 工 智 能 是 未来', '我 们 学 习 人工 智能 人 工 智能 是 未 来', '我 们 学 习 人工 智能 人 工 智能 是 未来', '我 们 学 习 人工 智能 人 工智 能 是 未 来', '我 们 学 习 人工 智能 人 工智 能 是 未来', '我 们 学 习 人工 智能 人工 智 能 是 未 来', '我 们 学 习 人工 智能 人工 智 能 是 未来', '我 们 学 习 人工 智能 人工 智能 是 未 来', '我 们 学 习 人工 智能 人工 智能 是 未来', '我 们 学 习 人工 智能 人工智能 是 未 来', '我 们 学 习 人工 智能 人工智能 是 未来', '我 们 学 习 人工智能 人 工 智 能 是 未 来', '我 们 学 习 人工智能 人 工 智 能 是 未来', '我 们 学 习 人工智能 人 工 智能 是 未 来', '我 们 学 习 人工智能 人 工 智能 是 未来', '我 们 学 习 人工智能 人 工智 能 是 未 来', '我 们 学 习 人工智能 人 工智 能 是 未来', '我 们 学 习 人工智能 人工 智 能 是 未 来', '我 们 学 习 人工智能 人工 智 能 是 未来', '我 们 学 习 人工智能 人工 智能 是 未 来', '我 们 学 习 人工智能 人工 智能 是 未来', '我 们 学 习 人工智能 人工智能 是 未 来', '我 们 学 习 人工智能 人工智能 是 未来', '我 们 学习 人 工 智 能 人 工 智 能 是 未 来', '我 们 学习 人 工 智 能 人 工 智 能 是 未来', '我 们 学习 人 工 智 能 人 工 智能 是 未 来', '我 们 学习 人 工 智 能 人 工 智能 是 未来', '我 们 学习 人 工 智 能 人 工智 能 是 未 来', '我 们 学习 人 工 智 能 人 工智 能 是 未来', '我 们 学习 人 工 智 能 人工 智 能 是 未 来', '我 们 学习 人 工 智 能 人工 智 能 是 未来', '我 们 学习 人 工 智 能 人工 智能 是 未 来', '我 们 学习 人 工 智 能 人工 智能 是 未来', '我 们 学习 人 工 智 能 人工智能 是 未 来', '我 们 学习 人 工 智 能 人工智能 是 未来', '我 们 学习 人 工 智 能人 工 智 能 是 未 来', '我 们 学习 人 工 智 能人 工 智 能 是 未来', '我 们 学习 人 工 智 能人 工 智能 是 未 来', '我 们 学习 人 工 智 能人 工 智能 是 未来', '我 们 学习 人 工 智 能人 工智 能 是 未 来', '我 们 学习 人 工 智 能人 工智 能 是 未来', '我 们 学习 人 工 智能 人 工 智 能 是 未 来', '我 们 学习 人 工 智能 人 工 智 能 是 未来', '我 们 学习 人 工 智能 人 工 智能 是 未 来', '我 们 学习 人 工 智能 人 工 智能 是 未来', '我 们 学习 人 工 智能 人 工智 能 是 未 来', '我 们 学习 人 工 智能 人 工智 能 是 未来', '我 们 学习 人 工 智能 人工 智 能 是 未 来', '我 们 学习 人 工 智能 人工 智 能 是 未来', '我 们 学习 人 工 智能 人工 智能 是 未 来', '我 们 学习 人 工 智能 人工 智能 是 未来', '我 们 学习 人 工 智能 人工智能 是 未 来', '我 们 学习 人 工 智能 人工智能 是 未来', '我 们 学习 人 工智 能 人 工 智 能 是 未 来', '我 们 学习 人 工智 能 人 工 智 能 是 未来', '我 们 学习 人 工智 能 人 工 智能 是 未 来', '我 们 学习 人 工智 能 人 工 智能 是 未来', '我 们 学习 人 工智 能 人 工智 能 是 未 来', '我 们 学习 人 工智 能 人 工智 能 是 未来', '我 们 学习 人 工智 能 人工 智 能 是 未 来', '我 们 学习 人 工智 能 人工 智 能 是 未来', '我 们 学习 人 工智 能 人工 智能 是 未 来', '我 们 学习 人 工智 能 人工 智能 是 未来', '我 们 学习 人 工智 能 人工智能 是 未 来', '我 们 学习 人 工智 能 人工智能 是 未来', '我 们 学习 人 工智 能人 工 智 能 是 未 来', '我 们 学习 人 工智 能人 工 智 能 是 未来', '我 们 学习 人 工智 能人 工 智能 是 未 来', '我 们 学习 人 工智 能人 工 智能 是 未来', '我 们 学习 人 工智 能人 工智 能 是 未 来', '我 们 学习 人 工智 能人 工智 能 是 未来', '我 们 学习 人工 智 能 人 工 智 能 是 未 来', '我 们 学习 人工 智 能 人 工 智 能 是 未来', '我 们 学习 人工 智 能 人 工 智能 是 未 来', '我 们 学习 人工 智 能 人 工 智能 是 未来', '我 们 学习 人工 智 能 人 工智 能 是 未 来', '我 们 学习 人工 智 能 人 工智 能 是 未来', '我 们 学习 人工 智 能 人工 智 能 是 未 来', '我 们 学习 人工 智 能 人工 智 能 是 未来', '我 们 学习 人工 智 能 人工 智能 是 未 来', '我 们 学习 人工 智 能 人工 智能 是 未来', '我 们 学习 人工 智 能 人工智能 是 未 来', '我 们 学习 人工 智 能 人工智能 是 未来', '我 们 学习 人工 智 能人 工 智 能 是 未 来', '我 们 学习 人工 智 能人 工 智 能 是 未来', '我 们 学习 人工 智 能人 工 智能 是 未 来', '我 们 学习 人工 智 能人 工 智能 是 未来', '我 们 学习 人工 智 能人 工智 能 是 未 来', '我 们 学习 人工 智 能人 工智 能 是 未来', '我 们 学习 人工 智能 人 工 智 能 是 未 来', '我 们 学习 人工 智能 人 工 智 能 是 未来', '我 们 学习 人工 智能 人 工 智能 是 未 来', '我 们 学习 人工 智能 人 工 智能 是 未来', '我 们 学习 人工 智能 人 工智 能 是 未 来', '我 们 学习 人工 智能 人 工智 能 是 未来', '我 们 学习 人工 智能 人工 智 能 是 未 来', '我 们 学习 人工 智能 人工 智 能 是 未来', '我 们 学习 人工 智能 人工 智能 是 未 来', '我 们 学习 人工 智能 人工 智能 是 未来', '我 们 学习 人工 智能 人工智能 是 未 来', '我 们 学习 人工 智能 人工智能 是 未来', '我 们 学习 人工智能 人 工 智 能 是 未 来', '我 们 学习 人工智能 人 工 智 能 是 未来', '我 们 学习 人工智能 人 工 智能 是 未 来', '我 们 学习 人工智能 人 工 智能 是 未来', '我 们 学习 人工智能 人 工智 能 是 未 来', '我 们 学习 人工智能 人 工智 能 是 未来', '我 们 学习 人工智能 人工 智 能 是 未 来', '我 们 学习 人工智能 人工 智 能 是 未来', '我 们 学习 人工智能 人工 智能 是 未 来', '我 们 学习 人工智能 人工 智能 是 未来', '我 们 学习 人工智能 人工智能 是 未 来', '我 们 学习 人工智能 人工智能 是 未来', '我们 学 习 人 工 智 能 人 工 智 能 是 未 来', '我们 学 习 人 工 智 能 人 工 智 能 是 未来', '我们 学 习 人 工 智 能 人 工 智能 是 未 来', '我们 学 习 人 工 智 能 人 工 智能 是 未来', '我们 学 习 人 工 智 能 人 工智 能 是 未 来', '我们 学 习 人 工 智 能 人 工智 能 是 未来', '我们 学 习 人 工 智 能 人工 智 能 是 未 来', '我们 学 习 人 工 智 能 人工 智 能 是 未来', '我们 学 习 人 工 智 能 人工 智能 是 未 来', '我们 学 习 人 工 智 能 人工 智能 是 未来', '我们 学 习 人 工 智 能 人工智能 是 未 来', '我们 学 习 人 工 智 能 人工智能 是 未来', '我们 学 习 人 工 智 能人 工 智 能 是 未 来', '我们 学 习 人 工 智 能人 工 智 能 是 未来', '我们 学 习 人 工 智 能人 工 智能 是 未 来', '我们 学 习 人 工 智 能人 工 智能 是 未来', '我们 学 习 人 工 智 能人 工智 能 是 未 来', '我们 学 习 人 工 智 能人 工智 能 是 未来', '我们 学 习 人 工 智能 人 工 智 能 是 未 来', '我们 学 习 人 工 智能 人 工 智 能 是 未来', '我们 学 习 人 工 智能 人 工 智能 是 未 来', '我们 学 习 人 工 智能 人 工 智能 是 未来', '我们 学 习 人 工 智能 人 工智 能 是 未 来', '我们 学 习 人 工 智能 人 工智 能 是 未来', '我们 学 习 人 工 智能 人工 智 能 是 未 来', '我们 学 习 人 工 智能 人工 智 能 是 未来', '我们 学 习 人 工 智能 人工 智能 是 未 来', '我们 学 习 人 工 智能 人工 智能 是 未来', '我们 学 习 人 工 智能 人工智能 是 未 来', '我们 学 习 人 工 智能 人工智能 是 未来', '我们 学 习 人 工智 能 人 工 智 能 是 未 来', '我们 学 习 人 工智 能 人 工 智 能 是 未来', '我们 学 习 人 工智 能 人 工 智能 是 未 来', '我们 学 习 人 工智 能 人 工 智能 是 未来', '我们 学 习 人 工智 能 人 工智 能 是 未 来', '我们 学 习 人 工智 能 人 工智 能 是 未来', '我们 学 习 人 工智 能 人工 智 能 是 未 来', '我们 学 习 人 工智 能 人工 智 能 是 未来', '我们 学 习 人 工智 能 人工 智能 是 未 来', '我们 学 习 人 工智 能 人工 智能 是 未来', '我们 学 习 人 工智 能 人工智能 是 未 来', '我们 学 习 人 工智 能 人工智能 是 未来', '我们 学 习 人 工智 能人 工 智 能 是 未 来', '我们 学 习 人 工智 能人 工 智 能 是 未来', '我们 学 习 人 工智 能人 工 智能 是 未 来', '我们 学 习 人 工智 能人 工 智能 是 未来', '我们 学 习 人 工智 能人 工智 能 是 未 来', '我们 学 习 人 工智 能人 工智 能 是 未来', '我们 学 习 人工 智 能 人 工 智 能 是 未 来', '我们 学 习 人工 智 能 人 工 智 能 是 未来', '我们 学 习 人工 智 能 人 工 智能 是 未 来', '我们 学 习 人工 智 能 人 工 智能 是 未来', '我们 学 习 人工 智 能 人 工智 能 是 未 来', '我们 学 习 人工 智 能 人 工智 能 是 未来', '我们 学 习 人工 智 能 人工 智 能 是 未 来', '我们 学 习 人工 智 能 人工 智 能 是 未来', '我们 学 习 人工 智 能 人工 智能 是 未 来', '我们 学 习 人工 智 能 人工 智能 是 未来', '我们 学 习 人工 智 能 人工智能 是 未 来', '我们 学 习 人工 智 能 人工智能 是 未来', '我们 学 习 人工 智 能人 工 智 能 是 未 来', '我们 学 习 人工 智 能人 工 智 能 是 未来', '我们 学 习 人工 智 能人 工 智能 是 未 来', '我们 学 习 人工 智 能人 工 智能 是 未来', '我们 学 习 人工 智 能人 工智 能 是 未 来', '我们 学 习 人工 智 能人 工智 能 是 未来', '我们 学 习 人工 智能 人 工 智 能 是 未 来', '我们 学 习 人工 智能 人 工 智 能 是 未来', '我们 学 习 人工 智能 人 工 智能 是 未 来', '我们 学 习 人工 智能 人 工 智能 是 未来', '我们 学 习 人工 智能 人 工智 能 是 未 来', '我们 学 习 人工 智能 人 工智 能 是 未来', '我们 学 习 人工 智能 人工 智 能 是 未 来', '我们 学 习 人工 智能 人工 智 能 是 未来', '我们 学 习 人工 智能 人工 智能 是 未 来', '我们 学 习 人工 智能 人工 智能 是 未来', '我们 学 习 人工 智能 人工智能 是 未 来', '我们 学 习 人工 智能 人工智能 是 未来', '我们 学 习 人工智能 人 工 智 能 是 未 来', '我们 学 习 人工智能 人 工 智 能 是 未来', '我们 学 习 人工智能 人 工 智能 是 未 来', '我们 学 习 人工智能 人 工 智能 是 未来', '我们 学 习 人工智能 人 工智 能 是 未 来', '我们 学 习 人工智能 人 工智 能 是 未来', '我们 学 习 人工智能 人工 智 能 是 未 来', '我们 学 习 人工智能 人工 智 能 是 未来', '我们 学 习 人工智能 人工 智能 是 未 来', '我们 学 习 人工智能 人工 智能 是 未来', '我们 学 习 人工智能 人工智能 是 未 来', '我们 学 习 人工智能 人工智能 是 未来', '我们 学习 人 工 智 能 人 工 智 能 是 未 来', '我们 学习 人 工 智 能 人 工 智 能 是 未来', '我们 学习 人 工 智 能 人 工 智能 是 未 来', '我们 学习 人 工 智 能 人 工 智能 是 未来', '我们 学习 人 工 智 能 人 工智 能 是 未 来', '我们 学习 人 工 智 能 人 工智 能 是 未来', '我们 学习 人 工 智 能 人工 智 能 是 未 来', '我们 学习 人 工 智 能 人工 智 能 是 未来', '我们 学习 人 工 智 能 人工 智能 是 未 来', '我们 学习 人 工 智 能 人工 智能 是 未来', '我们 学习 人 工 智 能 人工智能 是 未 来', '我们 学习 人 工 智 能 人工智能 是 未来', '我们 学习 人 工 智 能人 工 智 能 是 未 来', '我们 学习 人 工 智 能人 工 智 能 是 未来', '我们 学习 人 工 智 能人 工 智能 是 未 来', '我们 学习 人 工 智 能人 工 智能 是 未来', '我们 学习 人 工 智 能人 工智 能 是 未 来', '我们 学习 人 工 智 能人 工智 能 是 未来', '我们 学习 人 工 智能 人 工 智 能 是 未 来', '我们 学习 人 工 智能 人 工 智 能 是 未来', '我们 学习 人 工 智能 人 工 智能 是 未 来', '我们 学习 人 工 智能 人 工 智能 是 未来', '我们 学习 人 工 智能 人 工智 能 是 未 来', '我们 学习 人 工 智能 人 工智 能 是 未来', '我们 学习 人 工 智能 人工 智 能 是 未 来', '我们 学习 人 工 智能 人工 智 能 是 未来', '我们 学习 人 工 智能 人工 智能 是 未 来', '我们 学习 人 工 智能 人工 智能 是 未来', '我们 学习 人 工 智能 人工智能 是 未 来', '我们 学习 人 工 智能 人工智能 是 未来', '我们 学习 人 工智 能 人 工 智 能 是 未 来', '我们 学习 人 工智 能 人 工 智 能 是 未来', '我们 学习 人 工智 能 人 工 智能 是 未 来', '我们 学习 人 工智 能 人 工 智能 是 未来', '我们 学习 人 工智 能 人 工智 能 是 未 来', '我们 学习 人 工智 能 人 工智 能 是 未来', '我们 学习 人 工智 能 人工 智 能 是 未 来', '我们 学习 人 工智 能 人工 智 能 是 未来', '我们 学习 人 工智 能 人工 智能 是 未 来', '我们 学习 人 工智 能 人工 智能 是 未来', '我们 学习 人 工智 能 人工智能 是 未 来', '我们 学习 人 工智 能 人工智能 是 未来', '我们 学习 人 工智 能人 工 智 能 是 未 来', '我们 学习 人 工智 能人 工 智 能 是 未来', '我们 学习 人 工智 能人 工 智能 是 未 来', '我们 学习 人 工智 能人 工 智能 是 未来', '我们 学习 人 工智 能人 工智 能 是 未 来', '我们 学习 人 工智 能人 工智 能 是 未来', '我们 学习 人工 智 能 人 工 智 能 是 未 来', '我们 学习 人工 智 能 人 工 智 能 是 未来', '我们 学习 人工 智 能 人 工 智能 是 未 来', '我们 学习 人工 智 能 人 工 智能 是 未来', '我们 学习 人工 智 能 人 工智 能 是 未 来', '我们 学习 人工 智 能 人 工智 能 是 未来', '我们 学习 人工 智 能 人工 智 能 是 未 来', '我们 学习 人工 智 能 人工 智 能 是 未来', '我们 学习 人工 智 能 人工 智能 是 未 来', '我们 学习 人工 智 能 人工 智能 是 未来', '我们 学习 人工 智 能 人工智能 是 未 来', '我们 学习 人工 智 能 人工智能 是 未来', '我们 学习 人工 智 能人 工 智 能 是 未 来', '我们 学习 人工 智 能人 工 智 能 是 未来', '我们 学习 人工 智 能人 工 智能 是 未 来', '我们 学习 人工 智 能人 工 智能 是 未来', '我们 学习 人工 智 能人 工智 能 是 未 来', '我们 学习 人工 智 能人 工智 能 是 未来', '我们 学习 人工 智能 人 工 智 能 是 未 来', '我们 学习 人工 智能 人 工 智 能 是 未来', '我们 学习 人工 智能 人 工 智能 是 未 来', '我们 学习 人工 智能 人 工 智能 是 未来', '我们 学习 人工 智能 人 工智 能 是 未 来', '我们 学习 人工 智能 人 工智 能 是 未来', '我们 学习 人工 智能 人工 智 能 是 未 来', '我们 学习 人工 智能 人工 智 能 是 未来', '我们 学习 人工 智能 人工 智能 是 未 来', '我们 学习 人工 智能 人工 智能 是 未来', '我们 学习 人工 智能 人工智能 是 未 来', '我们 学习 人工 智能 人工智能 是 未来', '我们 学习 人工智能 人 工 智 能 是 未 来', '我们 学习 人工智能 人 工 智 能 是 未来', '我们 学习 人工智能 人 工 智能 是 未 来', '我们 学习 人工智能 人 工 智能 是 未来', '我们 学习 人工智能 人 工智 能 是 未 来', '我们 学习 人工智能 人 工智 能 是 未来', '我们 学习 人工智能 人工 智 能 是 未 来', '我们 学习 人工智能 人工 智 能 是 未来', '我们 学习 人工智能 人工 智能 是 未 来', '我们 学习 人工智能 人工 智能 是 未来', '我们 学习 人工智能 人工智能 是 未 来', '我们 学习 人工智能 人工智能 是 未来']
总结
当然，我们没有对数据进行进一步的处理，例如去除标点符号或者词干提取等。而且分词的性能较差，可以一个简单的句子处理就需要好几秒，在实际使用中需要对分词的性能进行进一步的优化。