[音声認識] matlab動的タイムワーピング（DTW）に基づく孤立単語音声認識[Matlabソースコード573を含む]

1.はじめに

ダイナミックタイムワーピング（DTW）の誕生には一定の歴史があり（日本の学者板倉が提案）、その目的は比較的単純で、長さの異なる2つの時系列の類似性を測定する方法です。また、アプリケーションは比較的広く、主に、孤立した単語の音声認識（2つの音声が同じ単語を表すかどうかの認識）、ジェスチャ認識、データマイニング、情報検索などのテンプレートマッチングに使用されます。

1。概要

ほとんどの分野では、時系列はデータの一般的な表現です。時系列処理の場合、一般的なタスクは2つの系列の類似性を比較することです。
時系列では、類似性を比較する必要のある2つの時系列の長さが同じでない場合があります。音声認識の分野では、人によって音声速度が異なります。音声信号にはかなりのランダム性があるため、同じ人が異なる時間に同じトーンを発したとしても、完全な時間ではない場合があります。さらに、同じ単語内の異なる音素の発音速度も異なります。たとえば、「A」の音を非常に長くドラッグしたり、「i」を非常に短く発音したりする人もいます。これらの複雑な状況では、2つの時系列間の距離（または類似性）は、従来のユークリッド距離を使用して効果的に取得することはできません。
2DTW法の原理

時系列では、類似性を比較する必要のある2つの時系列の長さが同じでない場合があります。音声認識の分野では、人によって音声速度が異なります。さらに、同じ単語内の異なる音素の発音速度も異なります。たとえば、「A」の音を非常に長くドラッグしたり、「i」を非常に短く発音したりする人もいます。さらに、異なる時系列は時間軸上にのみ変位を持つ場合があります。つまり、縮小変位の場合、2つの時系列は同じです。これらの複雑な状況では、2つの時系列間の距離（または類似性）は、従来のユークリッド距離を使用して効果的に取得することはできません。

DTWは、時系列を延長および短縮することにより、2つの時系列間の類似性を計算します。
ここに画像の説明を挿入します
上の図に示すように、上下の実線は2つの時系列を表し、時系列間の破線は2つの時系列を表します。間の類似点。DTWは、ワープパス距離と呼ばれるこれらすべての類似点間の距離の合計を使用して、2つの時系列間の類似性を測定します。

2 DTW計算方法：

類似性について計算される2つの時系列をXとYとし、長さを| X |と| Y |とします。
ワープパスワープパス
の形式はW = w1、w2、...、wKです。ここで、Max（| X |、| Y |）<= K <= | X | + | Y |です。
wkの形式は（i、j）です。ここで、iはXのi座標を表し、jはYのj座標を表します。
再編成パスWは、XとYの各座標がWに表示されるように、w1 =（1,1）で始まり、wK =（| X |、| Y |）で終わる必要があります。
さらに、図1の破線が交差しないようにするには、Wのw（i、j）のiとjを単調に増加させる必要があります。いわゆる単調増加とは、
ここに画像の説明を挿入します

コストマトリックス（コストマトリックス）D、Dを指します。（i、j）は、長さiとjの2つの時系列間の正規化されたパス距離を表します。

第二に、ソースコード

function trimmed_X = my_vad(x)
%端点检测；输入为录入语音，输出为有用信号

Ini = 0.1;          %初始静默时间
Ts = 0.01;          %窗的时长
Tsh = 0.005;        %帧移时长
Fs = 16000;         %采样频率
counter1 = 0;       %以下四个参数用来寻找起始点和结束点
counter2 = 0;
counter3 = 0;
counter4 = 0;
ZCRCountf = 0;      %用于存储过零率检测结果
ZCRCountb = 0;     
ZTh = 40;           %过零阈值
w_sam = fix(Ts*Fs);                   %窗口长度
o_sam = fix(Tsh*Fs);                  %帧移长度
lengthX = length(x);
segs = fix((lengthX-w_sam)/o_sam)+1;  %分帧数
sil = fix((Ini-Ts)/Tsh)+1;            %静默时间帧数
win = hamming(w_sam);

Limit = o_sam*(segs-1)+1;             %最后一帧的起始位置

FrmIndex = 1:o_sam:Limit;             %每一帧的起始位置
ZCR_Vector = zeros(1,segs);           %记录每一帧的过零点数
                                     
%短时过零点
for t = 1:segs
    ZCRCounter = 0; 
    nextIndex = (t-1)*o_sam+1;
    for r = nextIndex+1:(nextIndex+w_sam-1)
        if (x(r) >= 0) && (x(r-1) >= 0)
         
        elseif (x(r) > 0) && (x(r-1) < 0)
         ZCRCounter = ZCRCounter + 1;
        elseif (x(r) < 0) && (x(r-1) < 0)
         
        elseif (x(r) < 0) && (x(r-1) > 0)
         ZCRCounter = ZCRCounter + 1;
        end
    end
    ZCR_Vector(t) = ZCRCounter;
end

%短时平均幅度
Erg_Vector = zeros(1,segs);
for u = 1:segs
    nextIndex = (u-1)*o_sam+1;
    Energy = x(nextIndex:nextIndex+w_sam-1).*win;
    Erg_Vector(u) = sum(abs(Energy));
end

IMN = mean(Erg_Vector(1:sil));  %静默能量均值（噪声均值）
IMX = max(Erg_Vector);          %短时平均幅度的最大值
I1 = 0.03 * (IMX-IMN) + IMN;    %I1，I2为初始能量阈值
I2 = 4 * IMN;
ITL = 100*min(I1,I2);            %能量阈值下限,前面系数根据实际情况更改得到合适结果
ITU = 10* ITL;                  %能量阈值上限
IZC = mean(ZCR_Vector(1:sil));  
stdev = std(ZCR_Vector(1:sil)); %静默阶段过零率标准差

IZCT = min(ZTh,IZC+2*stdev);    %过零率阈值
indexi = zeros(1,lengthX);      
indexj = indexi;               
indexk = indexi;
indexl = indexi;

%搜寻超过能量阈值上限的部分
for i = 1:length(Erg_Vector)
    if (Erg_Vector(i) > ITU)
        counter1 = counter1 + 1;
        indexi(counter1) = i;
    end
end
ITUs = indexi(1);        %第一个能量超过阈值上限的帧

%搜寻能量超过能量下限的部分
for j = ITUs:-1:1
    if (Erg_Vector(j) < ITL)
        counter2 = counter2 + 1;
        indexj(counter2) = j;
    end
end
start = indexj(1)+1;    %第一级判决起始帧

Erg_Vectorf = fliplr(Erg_Vector);%将能量矩阵关于中心左右对称，如果是一行向量相当于逆序 

%重复上面过程相当于找结束帧
for k = 1:length(Erg_Vectorf)
    if (Erg_Vectorf(k) > ITU)
        counter3 = counter3 + 1;
        indexk(counter3) = k;
    end
end
%初始化DTW判别矩阵
Scores1 = zeros(1,N);                
Scores2 = zeros(1,N);
Scores3 = zeros(1,N);


%加载模板数据
s1 = load('Vectors1.mat');
fMatrixall1 = struct2cell(s1);
s2 = load('Vectors2.mat');
fMatrixall2 = struct2cell(s2);
s3 = load('Vectors3.mat');
fMatrixall3 = struct2cell(s3);


%计算DTW
for i = 1:N
    fMatrix1 = fMatrixall1{
    
    i,1};
    fMatrix1 = CMN(fMatrix1);
    Scores1(i) = myDTW(fMatrix1,rMatrix);
end

for j = 1:N
    fMatrix2 = fMatrixall2{
    
    j,1};
    fMatrix2 = CMN(fMatrix2);
    Scores2(j) = myDTW(fMatrix2,rMatrix);
end

3、実行中の結果

ここに画像の説明を挿入します

四、備考