无向图
举例:“Bob drank coffee at Starbucks”
标记方式1:(名词,动词,名词,介词,名词) 称为l
标记方式2:(名词,动词,动词,介词,名词)
挑选出一个最靠谱的:
我们给每一个标注序列打分,打分越高代表这个标注序列越靠谱,如,凡是标注中出现了动词后面还是动词的标注序列,要给它负分!!
上面所说的动词后面还是动词就是一个特征函数,我们可以定义一个特征函数集合,用这个集合来为一个标注序列打分,并据此选出最靠谱的标注序列。
每一个特征函数都可以用来为一个标注序列评分,把集合中所有特征函数对同一个标注序列的评分综合起来,就是这个标注序列最终的评分值。
定义特征函数:
S:句子S
i: 句子中的第i个单词
L_i:标注序列第i个单词标注的结果【B首部 / M 内部 / E 尾部/S 单独/ O 不是地理命名实体]
L_i-1:标注序列第i个单词标注的结果
输出值;1标识评分标准符合这个特征
过程:
(1) 给每个特征函数 f_j 赋予一个权重 λ_j
(2)句子对应的标记序列为l,得分函数为:
Score(L/s)=Σj Σi λj fj ( s,i,Li,Li-1 )(函数函数 j=1....m, 单词数量 i=1....n)
[外面求和是用来求每个特征函数的评分值,里面求和是每个位置单词的特征值]
(3) 对分数进行指数化和标准化
P(L/s)=exp(Score(L/s)) /ΣL' exp(Score(L'/s))
图结构:
线性链条随机磁场:Oi不仅考虑上一状态Oi-1,还考虑下一装填Oi+1
λ代表输入的词,O代表标签
状态变量 O0-------O1------O2------On
↓ ↓ ↓ ↓
↓ ↓ ↓ ↓
观测变量 λ0 λ1 λ2 λn
推理:
(1)利用贝叶斯公式 P(O/ λ)=P( λ/O) *P(O) / P( λ)
(2) P( λ/O) = P( λ1/O1) * P( λ2/O2).........*P( λn/On)
P(O)=P(O1) *P(O2/O1) *P(O3/O2)......*P(On/On-1)
(3)P( λ/O) *P(O) =P(O1)* P( λ1/O1) *P(O2/O1) * P( λ2/O2) *P(O3/O2)..... P( λn/On)*P(On/On-1)
=P(O1)* Π P(Oi / Oi-1* P(λi/ Oi)
定义特征函数:
S:句子S
i: 句子中的第i个单词
L_i:标注序列第i个单词标注的结果【B首部 / M 内部 / E 尾部/S 单独/ O 不是地理命名实体]
L_i-1:标注序列第i个单词标注的结果
输出值;1标识评分标准符合这个特征
过程:
(1) 给每个特征函数 f_j 赋予一个权重 λ_j
(2)句子对应的标记序列为l,得分函数为:
Score(L/s)=Σj Σi λj fj ( s,i,Li,Li-1 )(函数函数 j=1....m, 单词数量 i=1....n)
[外面求和是用来求每个特征函数的评分值,里面求和是每个位置单词的特征值]
(3) 对分数进行指数化和标准化
P(L/s)=exp(Score(L/s)) /ΣL' exp(Score(L'/s))
图结构:
线性链条随机磁场:Oi不仅考虑上一状态Oi-1,还考虑下一装填Oi+1
λ代表输入的词,O代表标签
状态变量 O0-------O1------O2------On
↓ ↓ ↓ ↓
↓ ↓ ↓ ↓
观测变量 λ0 λ1 λ2 λn
推理:
(1)利用贝叶斯公式 P(O/ λ)=P( λ/O) *P(O) / P( λ)
(2) P( λ/O) = P( λ1/O1) * P( λ2/O2).........*P( λn/On)
P(O)=P(O1) *P(O2/O1) *P(O3/O2)......*P(On/On-1)
(3)P( λ/O) *P(O) =P(O1)* P( λ1/O1) *P(O2/O1) * P( λ2/O2) *P(O3/O2)..... P( λn/On)*P(On/On-1)
=P(O1)* Π P(Oi / Oi-1* P(λi/ Oi)