mel频谱--学习笔记

 

1. 信号：
   1. 是一定量随时间的变化。 对于音频，变化的量是气压。
   2. 可以随时间采集气压样本。 采样数据的速率可以变化，但是最常见的是44.1kHz，即每秒44,100个采样。 捕获的是信号的波形。
2. 傅立叶变换：
   1. 音频信号由几个单频声波组成。 在一段时间内对信号进行采样时，仅捕获得到的幅度（amplitude）。
   2. 傅里叶可以将信号分解为单个频率和频率幅度。 换句话说，它将信号从时域转换到频域。 结果称为频谱。
   3. 每个信号都可以分解为一组正弦波和余弦波，它们加起来等于原始信号。 这是一个著名的定理，称为傅立叶定理。
   4. 快速傅立叶变换是一种功能强大的工具，可让分析信号的频率成分，但是如果信号的频率成分随时间变化，大多数音频信号（例如音乐和语音）就是这种情况。 这些信号称为非周期性信号。 需要一种表示这些信号随时间变化的频谱的方法
   5. 短时傅立叶变换。
      1. FFT是在信号的重叠窗口部分上计算的，得到所谓的频谱图。
      2. 可以将频谱图视为一堆相互堆叠的FFT。 当信号在不同频率下随时间变化时，这是一种直观地表示信号响度或幅度的方法。 计算频谱图时，还有一些其他细节。 y轴转换为对数刻度，颜色尺寸转换为分贝（您可以将其视为振幅的对数刻度）。 这是因为人类只能感知到非常小的集中频率和幅度范围。
3. mel scale：
   1. 研究表明，人类不会感知线性范围的频率，在检测低频差异方面要胜于高频。 例如，可以轻松分辨出500 Hz和1000 Hz之间的差异，但是即使之间的距离相同，人也很难分辨出10,000 Hz和10,500 Hz之间的差异。
   2. 使相等的音高距离听起来与听众相等。 这称为梅尔音阶。 对频率执行数学运算，以将其转换为mel标度。
   3. mel谱图是频率转换为mel标度的谱图。
4. 总结：随时间采集了气压样本，以数字方式表示音频信号：
   1. 使用快速傅里叶变换将音频信号从时域映射到频域，并在音频信号的重叠窗口部分执行此操作。
   2. 将y轴（频率）转换为对数刻度，将颜色尺寸（幅度）转换为分贝，以形成频谱图。
   3. 将y轴（频率）映射到mel刻度上以形成mel频谱图。