LipSync主要由三个模块组成。
·前端负责分析语音，辨识指定的音节，输出位置、类型和强度。LipSyncPro的作者直接使用了PocketSphinx开源库来完成这部分的内容。
·中端没有明确的界限，负责将语音识别的结果转化为驱动表情动画的事件帧。LipSync中提供一个ClipEditor，界面功能全面，可以方便的增减和编辑AutoSync生成的帧信息。
*前端和中端都是在编辑器中离线完成的。
·后端负责在runtime时根据事件帧驱动表情动画。LipSync支持BlendShape、骨骼动画和2D帧动画。
初步试用下来感觉挺好用，但有个关键问题：插件不支持中文！ 强行识别的结果根本没法看。作者已经在尝试做多国语言的支持，但因为不会中文，暂时还无法支持。
内置的英语音素分类定义
总结一下，要扩展LipSync支持中文，需要解决两个问题：
1）寻找中文音素表
2）寻找一个开源库来识别中文语音中的音素（最好还是Sphinx）
对于第一个问题，英文搜索几乎没有靠谱的内容，百度倒是找到好几篇研究中文LipSync的论文[1][2]，看引用数不高，可能是LipSync的学术价值太低，但工程上还是挺有意义的。
[1]使用HTK自行训练中文语音模型，我没做过语音识别，比较苦手。只能看看有没有现成可用的中文模型。
[2]提出一个三段式的方案，先结合过零率和短时能量将语音切割为片段，逐片段识别为文字（论文里使用的是微软SpeechAPI），然后查字典将字拆分为音节。这个方案可行性较高，效果预期也有保证，但工程量较大。
[3]提出了一个根据声韵母发音规律进行分类的方法，如下图
[1][2]都使用了这个分类模型。
为CMUSphinx构建音素模型
语音识别Toolkit中，只有CMUSphinx默认有提供音素识别(Phoneme Recognition)的功能。
先准备一些文字，转化为音素作为测试数据，然后使用cmuclmtk来构建音素语言模型 [5]。
我没有合适的测试数据，于是将语言字典zh_broadcastnews_utf8.dic中的音素序列剥离出来作为测试数据。
Commands:
text2idngram.exe -vocab F:\MyProject\Sphinx\Project\Phoneme.tmp.vocab -idngram F:\MyProject\Sphinx\Project\Phoneme.idngram < F:\MyProject\Sphinx\Project\Phoneme.txt
idngram2lm -vocab_type 0 -idngram F:\MyProject\Sphinx\Project\Phoneme.idngram -vocab F:\MyProject\Sphinx\Project\Phoneme.tmp.vocab -arpa F:\MyProject\Sphinx\Project\ChinesePhoneme.lm
sphinx_lm_convert.exe -i F:\MyProject\Sphinx\Project\ChinesePhoneme.lm -o F:\MyProject\Sphinx\Project\ChinesePhoneme.lm.bin
[1] 基于HTK的语音驱动唇形动画的实现
https://wenku.baidu.com/view/e3cf6acdbb4cf7ec4bfed003.html
[2] 基于SAPI的语音驱动口型动画方法
http://www.ixueshu.com/document/b6cc0c79686c53bb318947a18e7f9386.html
[3] 唇读中序列口型的分类
https://cmusphinx.github.io/wiki/phonemerecognition/
[4]
https://www.leiphone.com/news/201703/RccQRMCqbgxnFFS3.html
[5] CMUSphinx - Phoneme Recognition
https://cmusphinx.github.io/wiki/phonemerecognition/