机器学习基础教程实践(一)——中文的向量化

机器学习已经是一个热度逐渐消退的话题了,现在都在聊区块链了,所以这里我可以说说机器学习了。很多人很喜欢把简单的东西说得很复杂,让别人听不懂,这样别人就可以崇拜自己。但是作为一个的产品,我对此表示深深的鄙视。好了,废话不说了,回到正题。

机器其实是非常笨的,特别是对中文的理解,谁让我们中文博大精深,这也对生长在中国的IT从业人员提了更高的要求。

机器学习可以简单理解为推演学习,举例来说:你告诉机器:一只乌鸦是黑的,另外一只乌鸦也是黑的,……N个乌鸦也是黑的,那么他们就会推演出来天下的乌鸦都是黑的……。

机器对中文是理解不了的语言,所以你要告诉机器乌鸦是黑的,首先得把输入:乌鸦,输出:黑变成机器能懂的语言告诉他,下面我们一起来看看怎样告诉机器这个事情。

机器环境准备:

1、centos 7.4 64位

2、python2.7

3.pip

7.4里面会自带python2.7.5,这里不说了,pip需要自己安装,安装比较折腾

1、下载安装脚本

wget https://bootstrap.pypa.io/get-pip.py


4002011-2cbecdd6f74984a5.png
下载安装脚本

2、安装pip

python get-pip.py

4002011-20c7065cd5e7c8c5.png
2、安装pip

3、安装jieba分词

pip install jieba

4002011-13b5817b9f2ca04d.png
3、结巴分词安装

4、安装nose,不然安装word2vec会报错

pip install nose

4002011-93e6f20dc0222dfe.png
4安装nose

5、安装词转向量插件(部分同学反馈安装报错,大家可以根据提示,一般是缺少Cython和python-dev,可以先执行pip install Cython和yum install python-devel)

pip install word2vec

4002011-44448445d18c71fa.png
5、词转向量插件

到这里,环境已经准备完毕了,后面我们开始正式说怎样把中文向量化,变成机器能理解的语言。


1、vim test.txt,编辑你需要转变位向量的文本,这里文本随便你自己弄。

2、编写分词脚本,使用结巴分词,对文本进行分词

vim test-1.py

##!/usr/bin/env python

## coding=utf-8

import jieba

filePath='test.txt'

fileSegWordDonePath ='testDone.txt'

# 按行读取文本内容

fileTrainRead = []

with open(filePath) as fileTrainRaw:

    for line in fileTrainRaw:

        fileTrainRead.append(line)

#

def PrintListChinese(list):

    for i in range(len(list)):

        print list[i],

#使用结巴分词进行分词

fileTrainSeg=[]

for i in range(len(fileTrainRead)):

#通过[0:-1]控制分词的范围

    fileTrainSeg.append([' '.join(list(jieba.cut(fileTrainRead[i][0:-1],cut_all=False)))])

    if i % 100 == 0 :

        print i

# 保存分词结果

with open(fileSegWordDonePath,'wb') as fW:

    for i in range(len(fileTrainSeg)):

        fW.write(fileTrainSeg[i][0].encode('utf-8'))

        fW.write('\n')

2、vim test-2.py,编写转换的脚本,对分词后的中文转为机器能理解的向量

import word2vec

word2vec.word2vec('testDone.txt', 'test.bin', size=300,verbose=True)

3、执行转换脚本

python test-2.py


4002011-6f40e93f297ff39d.png
3、转换为向量

到了这里,已经成功将你要给机器讲的中文转化为机器能理解的向量了,好奇的你如果向看看结果是怎样的,那就再编辑一个python脚本

4、vim modelview.py

import word2vec

model = word2vec.load('test.bin')

print(model.vectors)

然后执行这个脚本,就可以看到向量化的文本了,如图


4002011-4a1245cf147069ae.png
向量化的文本

到这里,第一讲就结束了,后面我会再给大家讲怎样利用向量化的文本进行训练和学习

猜你喜欢

转载自blog.csdn.net/weixin_33982670/article/details/87430184