librosa に基づく LFCC および CQCC の特徴抽出

このホワイト ペーパーでは、librosa ベースの LFCC および CQCC 特徴抽出を実装し、主に librosa での MFCC 特徴抽出のプロセスを参照し、torchaudio を使用して LFCC の正確性を検証し、matlab を使用して CQCC の正確性を検証します。

LFCC

原理

LFCCとMFCCの違いはフィルターバンクの違いで、MFCCはメル周波数のフィルターバンクを使うのに対し、LFCCは周波数が線形に分布するフィルターバンクを使うので、MFCCのフィルターバンクの取得方法を変えるだけで他のコードを保持するには、変更しないでください。

達成

librosa ライブラリに基づいて実装された LFCC は次のとおりです。

import warnings
import numpy as np
import librosa
import scipy


def linear(sr, n_fft, n_filters=128, fmin=0.0, fmax=None, dtype=np.float32):

    if fmax is None:
        fmax = float(sr) / 2
    # Initialize the weights
    n_filters = int(n_filters)
    weights = np.zeros((n_filters, int(1 + n_fft // 2)), dtype=dtype)

    # Center freqs of each FFT bin
    fftfreqs = librosa.fft_frequencies(sr=sr, n_fft=n_fft)

    # 'Center freqs' of liner bands - uniformly spaced between limits
    # * Need to validate
    linear_f = np.linspace(fmin, fmax, n_filters + 2)

    fdiff = np.diff(linear_f)
    ramps = np.subtract.outer(linear_f, fftfreqs)

    for i in range(n_filters):
        # lower and upper slopes for all bins
        lower = -ramps[i] / fdiff[i]
        upper = ramps[i + 2] / fdiff[i + 1]

        # .. then intersect them with each other and zero
        weights[i] = np.maximum(0, np.minimum(lower, upper))

    # Only check weights if f_mel[0] is positive
    if not np.all((linear_f[:-2] == 0) | (weights.max(axis=1) > 0)):
        # This means we have an empty channel somewhere
        warnings.warn(
            "Empty filters detected in linear frequency basis. "
            "Some channels will produce empty responses. "
            "Try increasing your sampling rate (and fmax) or "
            "reducing n_filters.",
            stacklevel=2,
        )

    return weights


def linear_spec(
    y=None,
        sr=22050,
        S=None,
        n_fft=2048,
        hop_length=512,
        win_length=None,
        window='hann',
        center=True,
        pad_mode='constant',
        power=2.0,
        **kwargs
):
    if S is not None:
        # Infer n_fft from spectrogram shape, but only if it mismatches
        if n_fft // 2 + 1 != S.shape[-2]:
            n_fft = 2 * (S.shape[-2] - 1)
    else:
        S = (
            np.abs(
                librosa.stft(
                    y,
                    n_fft=n_fft,
                    hop_length=hop_length,
                    win_length=win_length,
                    center=center,
                    window=window,
                    pad_mode=pad_mode,
                )
            )
            ** power
        )
    # Build a linear filter
    linear_basis = linear(sr=sr, n_fft=n_fft, **kwargs)

    return np.einsum("...ft,mf->...mt", S, linear_basis, optimize=True)


def expand_to(x, *, ndim, axes):
    try:
        axes = tuple(axes)
    except TypeError:
        axes = tuple([axes])

    if len(axes) != x.ndim:
        raise Exception(
            "Shape mismatch between axes={} and input x.shape={}".format(
                axes, x.shape)
        )

    if ndim < x.ndim:
        raise Exception(
            "Cannot expand x.shape={} to fewer dimensions ndim={}".format(
                x.shape, ndim)
        )

    shape = [1] * ndim
    for i, axi in enumerate(axes):
        shape[axi] = x.shape[i]

    return x.reshape(shape)


def lfcc(y=None,
         sr=22050,
         S=None,
         n_lfcc=20,
         dct_type=2,
         norm='ortho',
         lifter=0,
         **kwargs):
    if S is None:
        S = librosa.power_to_db(linear_spec(y=y, sr=sr, **kwargs))

    M = scipy.fftpack.dct(S, axis=-2, type=dct_type,
                          norm=norm)[..., :n_lfcc, :]

    if lifter > 0:
        # shape lifter for broadcasting
        LI = np.sin(np.pi * np.arange(1, 1 + n_lfcc, dtype=M.dtype) / lifter)
        LI = expand_to(LI, ndim=S.ndim, axes=-2)

        M *= 1 + (lifter / 2) * LI
        return M
    elif lifter == 0:
        return M
    else:
        raise Exception(
            "LFCC lifter={} must be a non-negative number".format(lifter)
        )

torchaudio の既存の関数で検証します。

import torchaudio
import librosa
from torchaudio.transforms import LFCC
path = ''

# torchaudio
waveform, sample_rate = torchaudio.load(full_path)
print(waveform.shape)
lfcc_transform = LFCC(
    sample_rate=sample_rate,
    n_lfcc=13,
    n_filter=128,
    speckwargs={
    
    "n_fft": 512, "hop_length": 160, },
)
torch_lfcc = lfcc_transform(waveform)
print(torch_lfcc[0, :, 0])
# librosa
wave, sr = librosa.load(full_path, sr=16000)
print(wave.shape)
librosa_lfcc = lfcc(
    y=wave, sr=sr, n_lfcc=13, n_fft=512, hop_length=240, n_filters=128, pad_mode='reflect')
print(librosa_lfcc[:, 0])

操作の結果は次のとおりです。2

つによって得られる結果は基本的に同じです。

CQCC

原理

STFT と CQT は、時間信号の周波数ドメイン解析のための 2 つの兄弟メソッドと見なすことができます。

STFT では、長いシーケンスから固定長のフラグメントを抽出し、ウィンドウ関数を掛けて FFT を実行し、スライディング ウィンドウを繰り返し適用して最終的なスペクトルを取得します。

STFT は実際にはフィルター バンクであり、Q ファクターはフィルター帯域幅に対するフィルターの中心周波数の比率として定義されます。Q $$Q=\frac{{へ}_{}}{f\_}$$STFT では、各フィルターの帯域幅は一定であり、周波数が低周波数から高周波数になるにつれて Q ファクターが増加します。

ただし、人間の知覚システムの Q ファクターは 500Hz ～ 20KHz の間でほぼ一定であるため、少なくとも知覚の観点からは、STFT は音声信号の時間周波数分析には理想的ではない可能性があります。

そこで CQT 変換が提案され、最初のアルゴリズムは 1978 年にヤングバーグとボルによって提案され (Youngberg-Boll)、もう 1 つのアルゴリズムは 1986 年に鹿島とモンレイノー-カシマによって提案されました (モン レイノー)。これらの方法では、次の図に示すように、オクターブが幾何学的に分散されます。

CQT計算

離散時間領域信号$x\left(n\right)$の CQT は以下のように計算されます：
$${バツ}^{CQ}(k,n)=\sum _{j=n-\lfloor N_{}/2\rfloor }^{n+\lfloor N_{}/2}x\left(j\right)a_k^{}\left(j-n+N_{}/2\right)$$
そのうち、$k=1、2、\cdots 、K$は周波数インデックス$a_k^{}(n)$ 为 $a_{}\left(n\right)$の複素共役$N_{}$可変ウィンドウ サイズの場合、$\lfloor \cdot \rfloor$は切り捨てを表し、基底関数$a_{}\left(n\right)$定义如下：
$$a_{}\left(n\right)=\frac{}{ハ}\left(\frac{}{N_{}}\right)\mathrm{指数}\left[私\left(2\pi n\frac{{へ}_{}}{{へ}_{}}+{ファイ}_{}\right)\right]$$
その中で、${へ}_{}$kk番目です$k$周波数帯域の中心周波数${へ}_{}$はサンプリング レート$w\left(t\right)$は窓関数${ファイ}_{}$は位相オフセット、スケーリング係数$C$による下式：
$$ハ=\sum _{l=-\lfloor N_{}/2\rfloor }^{\lfloor N{\_}_{}/2}w\left(\frac{l+N_{}/}{N_{}}\right)$$
一定の Q 変換を満たすために、中心周波数は次を満たす必要があります。
$${へ}_{}={へ}_{}{2}^{\frac{k-}{B}}$$
ここで${へ}_{}$最低周波数帯域BBの中心周波数$B$オクターブあたりの周波数帯域の数を決定します。

たとえば、$B=1$の場合、${へ}_{}={へ}_{}{2}^{k-1}$，取${へ}_{}=8000ヘルツ、{へ}_{}=500Hz$，则${へ}_{}=1000ヘルツ、{へ}_{}=2000Hz、\_{へ}_{}=4000ヘルツ、{へ}_{}=8000Hz、$これ以上上がれません。ただし、DFT では、これらの周波数は直線的に変化します。

Q
$$Q=\frac{{へ}_{}}{{へ}_{k+}-{へ}_{}}={\left(2^{1/B}-1\right)}^{-1}$$
同時窓関数長$N_{}$満足:
$$N_{}=\frac{{へ}_{}}{{へ}_{}}Q$$

CQCC抽出

まず、MFCC は次のように計算されます。
$$\mathrm{MFCC}\left(q\right)=\sum _{m=1}\log \left[\mathrm{MF}\right(m\left)\right]\mathrm{コス}\left[\frac{q\left(メートル-\frac{}{2}\right)}{M}\right]$$
ここで、メルスペクトルは次のように計算されます:
$$MF\left(メートル\right)=\sum _{k=1}{\left|{バツ}^{DFT}\left(k\right)\right|}^2{H}_{}\left(k\right)$$
そのうち$k$は DFT 後の周波数インデックス係数、$H_{}\left(k\right)$は$m$ Mel スケールの三角加重関数バンドパス フィルターここで$M\; は$フィルターの数を表します ($MF\left(m\right)$ =$M$点のシーケンス$q\; は、$離散コサイン変換ポイントの数を表します。

XCQ ( k ) X^{CQ}(k)であるため、ケプストラム分析を CQT に直接使用することはできません。${バツ}^{CQ}\left(k\right)$の余弦関数は、この問題は、幾何空間を線形空間に変換することで解決できます。

XCQ ( k ) X^{CQ}(k)から${バツ}^{CQ}(k)$ 中，$k\; 個$の周波数帯域は幾何学的に分布しており、信号再構築のプロセスは最初のkkK − k Kk$の後、\; K\; 個の$周波数帯域 (低周波数部分) がダウンサンプリングされます。$K-k$個の周波数帯域 (高周波数部分) はアップサンプリングによって取得され、$k$周波数帯域の中心周波数${へ}_{}$および最初のバンドの中心周波数${へ}_{}={へ}_{}$の周波数差は次のように記録されます:
$$f{\_}^{k\leftrightarrow 1}={へ}_{}-{へ}_{}={へ}_{}\left(2^{\frac{k-}{B}}-1\right)$$
そのうち、$k=1、2、\cdots 、K$は周波数インデックス、距離$f{\_}^{k\leftrightarrow 1}$は$k$の増加関数。期間$T_{}$kl に関して k_l を決定するのと同じです。$k_{}$次のような関数:
$$T_{}=f{\_}^{k_{}\leftrightarrow 1}$$
以下は、最初のオクターブを周期$T_{}$ddを実行する$D$は等分され、解は$k_{}$阿：
$$\frac{{へ}_{}}{d}={へ}_{}\left(2^{\frac{k_{}-}{B}}-1\right)\to k_{}=B{ログ\_}_{}\left(1+\frac{}{d}\right)$$
新しい周波数は次のように計算されます:
$${ふ}_{}=\frac{}{T_{}}={\left[f_{}\left(2^{\frac{k_{}-}{B}}-1\right)\right]}^{-1}$$
したがって、最初のオクターブには$d$一様サンプル、 2 番目のオクターブで$2d$ ,$j\; -$$j-1$オクターブ$2^{j}d$.

信号再構成方法は、多相アンチエイリアシング フィルターとスプライン補間方法を使用し、均一なサンプリング レート${ふ}_{}$信号を再サンプリングします。

最後に、CQCC 係数は次のように計算されます
$$CQCC\left(p\right)=\sum _{l=1}ログ\_{\left|{バツ}^{CQ}\left(l\right)\right|}^2\mathrm{コス}\left[\frac{p\left(l-\frac{}{2}\right)}{L}\right]$$
その中で、$p=0、1、\cdots 、L-1$はリサンプリング後の周波数帯域インデックスです。

私の理解では、たとえば、set $d=5$、周波数$500-1000Hz$間サンプリング500,600,700,800,900 500,600,700,800,900$の$5分割可能$500,600,700,800,900$、周波数$1000-2000Hz$間のサンプリング$を$$2日=10\; の$周波数帯域、つまり$1000,1100、1200、\cdots 、1900$、同様に周波数範囲は$2000年-4000Hz$の間の周波数は$2^2\ast 5=20\; の$周波数帯域など。このように、2 つの中心周波数の間には幾何学的な間隔がありますが、サンプルの数も幾何学的に増加するため、リサンプリングによって得られる最終的な周波数は依然として線形であるため、DCT 変換を実行できます。