🤥 基本概念

语音信号与A/D转换

• 语音信号：由物体振动产生的声波，属于模拟信号。

• A/D转换：将语音信号转为数字信号的过程，包括：
1. 采样：将连续信号转为离散信号，采样频率越高，还原度越高。
• 常用采样频率：16kHz（常见）和8kHz（嵌入式设备）。
• 根据奈奎斯特-香农定理，采样频率需高于模拟信号2倍。
2. 量化：将采样的振幅值转为数字信号，常用16位存储振幅值。
• 非均匀量化：对小幅度区间用更精细的量化间隔。
3. 编码：将数字信号按特定格式编排，如：
• PCM：原始数字信号。
• WAV：在PCM基础上增加头部描述。
• MP3：通过压缩去除超出人耳感知范围的信息。

声道（Channel）

• 定义：录制声音时的空间采集点。

• 常见类型：

类型	描述
单声道(Mono)	单一音源。
双声道(Stereo)	左右声道独立录制（立体声）。
多声道	多音源录制，更丰富的听觉体验。

🤑 传统语音识别流程

😇 端到端深度学习语音识别

数据预处理与频谱图生成

• 预处理：采样、量化、编码生成音频块（如16kHz采样，每块20ms包含320个采样值）。

• 频谱图：将音频从时域转为频域，生成以频率为纵轴、时间为横轴的完整频谱图。

模型框架

• 编码器-解码器（Encoder-Decoder）结构：
• 编码器：对输入数据编码成特征。
• 解码器：解码特征生成目标结果。

• 常用模型：CNN、RNN、LSTM。

• 注意力机制（Attention）：
• 解决不同序列长度的信息丢失问题。
• 动态分配权重，关注重要信息。

• Transformer：基于注意力机制，提升训练和推理性能。

与传统方法的对比

😄 声纹识别

定义与特点

• 声纹识别（Voiceprint Recognition, VPR）：通过音频特征判别说话人身份。

• 独特性：
• 发音器官（舌头、声带）和语言习惯等差异导致音频特征的唯一性。

系统分类

应用流程

1. 声纹注册：采集音频，提取特征入库。

2. 声纹比对：实时采集音频，提取特征与库中比对，判定身份。

应用模式

文本相关 vs 文本无关

总结

• 传统方法的挑战：
• 流程繁琐，需手工特征标注。
• 独立训练导致协作优化能力差。

• 深度学习的突破：
• 实现端到端学习，简化流程。
• 注意力机制和Transformer提升性能。

• 声纹识别前景：
• 开集系统和文本无关模式更具实际应用价值。
• 安全验证、智能会议、安防取证是主要应用方向。