系统建模与系统学习

 系统建模可以选取神经网络、支持矢量机等系统结构作为系统函数

V=(v1,v2,...,vn)=V(w1,w2,...,wn,x1,x2,...,xn), 

其中(w1,w2,...,wn)是系统的参数空间矢量, (x1,x2,...,xn)是系统的输入空间矢量,(v1,v2,...vn)是系统的输出空间矢量。

已经有了系统函数，现在的任务就是利用先验知识训练系统参数。

有k组训练数据：

(X11,X12,...,X1n,V11,V12,...,V1n), (X21,X22,...,X2N,V21,V22,...,V2n),...,

(Xi1,Xi2,...,Xin,Vi1,Vi2,...,Vin),...,(Xk1,Xk2,...,Xkn,Vk1,Vk2,...,Vkn)

设定系统结构函数：

 V=V(w1,w2,...,wn,x1,x2,...,xn)                                                                                                                     

用训练值与预测值差的平方和做为目标函数：

                                     k                              

J(w1,w2,...,wn)=min ∑ ||Vi-Vi(X)||^2

                                    i=1   

          k   

=min∑ ||(V(w1,w2,...,wn,Xi1,Xi2,...,Xin)-(Vi1,Vi2,...,Vin)||^2

         i=1

于是问题转化为搜索(w1,w2,...,wn)参数矢量空间，使得J最小。

机器学习方法的参数学习过程：

(w1,w2,...,wn)<-g( w1,w2,...,wn, (Vi-Vi(X) )，通过误差参数按一定规则调整

启发式算法参数学习过程：

rand serch (u1,u2,...,un)*,  

if J(u1,u2,...,un)*<J(u1,u2,...,un),

then (u1,u2,...,un)* replace (u1,u2,...,un), 

else (u1,u2,...,un)* abandomelse, repeat