NLP(9): 机器学习介绍，朴素贝叶斯，python高阶函数应用

第一节：机器学习

D={X,y}

• x：特征
• y：标签
• f：学习x到y的映射关系

1、机器学习定义：

自动从已有的数据里找出一些规律（与专家系统的区别），然后把学到的这些规律应用到对未来数据的预测值，或者在不确定环境下自动地做出一些决策。

Name	Supervised learning	unsupervised learning
生成模型	朴素贝叶斯	GAN/HMM/LDA/GMM
判别模型	逻辑回归/conditional random field	None

2、Supervised learning

给定一批数据，包含一些样本的特征向量和标签值。学习特征向量到标签值的映射关系。

2.1 Sentiment Classification

• 线性回归
• 逻辑回归
• 朴素贝叶斯
• 神经网络
• SVM
• 随机森林
• Adaboost
• CNN

3、Unsupervised learning

对数据的分析，根据数据特征对其进行分类。

• k-means
• PCA
• ICA
• MF : 矩阵分解
• LSA
• LDA： 通过分析文本，分析文本后的主题

4、Generative model VS Discriminative Model

生成模型：训练好的模型，可以生成一些数据，记住每一个样本的特征 p(x,y),p(x)
判别模型：学习两个样本不同的特征 p(y|x)

5、Working Pipeline of constructing models

• 给定数据
• 数据清洗
• 特征工程：时间很长
• 建模
• 预测

End-to-end learning：不做特征工程，直接输入数据，比如Seq2seq

6、Train and Test Data

交叉验证在train set 上加入validation set：做超参数调参

第二节：朴素贝叶斯：适合文本分类

1、垃圾邮件分类器

occurrence of 购买

每个邮件包含十个单词，正常邮件有24个，垃圾邮件有12个。
统计正常邮件中出现购买的概率
统计垃圾邮件中出现购买的概率
p(购买|正常)：3/240
p(购买|垃圾)：7/120

可以计算出每个单词的条件概率，对词库里每个单词计算条件概率

prior information(先验)

在该例子里，正常邮件/垃圾邮件占所有邮件的比例

2、贝叶斯定理

3、conditional independence

当x和y条件独立于z时

Make prediction

第三节：Case study 垃圾邮件过滤

• 计算先验概率
• 列出词库
• 对于没有出现的单词，它的条件概率需要加入laplace 平滑
• 对于词库/新邮件里的每个单词，计算它在正常和垃圾邮件中出现的条件概率
• 对比给定这些单词下，是垃圾邮件还是正常邮件的概率，哪个大就认为该新邮件属于哪个类别。
  

当遇到这个新邮件的词很多，做条件概率乘法时，可能值很小，可以使用log将logp1p2p3=logp1+logp2+logp3

第四节：python函数高阶函数的应用

1、lambda表达式：匿名函数

格式：lambda 参数列表：函数体

add_lambda=lambda x,y:x+y
#调用
add_lambda(3,4)
#输出：7

三元运算符

condition=True
print(1 if condition else 2)
#结果1

2、map函数的应用

输入一堆input，经过map函数，输出后返回对应的input的output

如何使用map

list1=[1,2,3,4,5]
r=map(lambda x:x+x,list1)
print(list2)
# 结果 [2,4,6,8,10]

m1=map(lambda x,y:x*x+y,[1,2,3,4,5],[1,2,3,4,5])
#result:[2,6,12,20,30]

3、filter过滤器

输入一些input，经过filter的一些条件筛选，过滤掉一些不符合条件的input

def is_not_none(s):
	return s and len(s.strip())>0
list2=[" "," ","hello","greedy",None,"AI" ]
result=filter(is_not_none,list2) #传入一个条件函数和一个可迭代对象
#result : ["hello","greedy","ai"]

4、reduce函数

将input输入，经过reduce函数，输出一个output

from functools import reduce
f= lambda x,y:x+y
r=reduce(f,[1,2,3,4,5],10)#10为初始化的值
# result:25

5、Python三大推导式

5.1 列表推导式

根据已有的列表推导出新的列表

list1=[1,2,3,4,5]
f=map(lambda x:x+x,list1)#此时为map的对象
#需要转换格式
list(f)
list2=[i*i for i in list 1]
print(list2)# [1,4,9,16,25]
#有选择性的筛选
list4=[i*i for in list1 if i >3]
print(list4)# [16,25]

5.2 集合推导式

list1={1,2,3,4,5}
f=map(lambda x:x+x,list1)#此时为map的对象
#需要转换格式
list(f)
list2={i*i for i in list 1}
print(list2)# {1,4,9,16,25}
#有选择性的筛选
list4={i*i for in list1 if i >3}
print(list4)# {16,25}

5.3 字典推导式

s-={
	"zhangsan":20,
	"lisi":15,
	"wangwu":34
}
#拿出所有的key
s_key=[key+“aaa” for key, value in s.items()] #for后面有两个value
# key和value颠倒
s1={value: key for key , value in s.items()}
#只拿出符合条件的值
s2={key:value for key,value in s.items if key=="lisi"}#15:"lisi"

6、闭包

一个返回值是函数的函数

#调用后打印当前时间
import time
def runtime()：
	def now_time():
		print (time.time())
	return now_time
f=runtime()
print(f())

使用f调用runtime函数，再调用f函数。

data.csv

cat data.csv
#读出一个文件中带有某个关键字的行
def make_filter(keep):
	def the_filter(file_name):
		file=open(file_name)
		lines=file.readlines()
		file.close()
		filter_doc=[i for i in lines if keep in i]
		return filter_doc
	return the filter
filter1=make_filter("8")#这一行调用了make_filter函数，接受了the filter作为返回值
#这里的filter1等于函数the_filter
filter_result=filter1("data.csv")
print(filter_result)# [6,7,8,9,19]