开源项目叮当-中文语音对话机器人在ubuntu上的安装
在叮当的官网（http://dingdang.hahack.com）上看到，它这是如下图这样介绍叮当的，它的安装流程也是基于树莓派来写的流程。而我对硬件不感兴趣，我不想去买树莓派的开发板，又没有SD卡刷Raspbian系统，我总觉得有一台linux的操作系统也可以，后来进了叮当机器人交流群，问了果然可以，于是就开使了一阵捯饬。在安装的过程中，我发现没有基于不用树莓派的安装步骤，问了很多傻问题，所以安装成功后，就记录了一下自己的安装步骤，一方面使给自己做个笔记，另一方面如果能帮助到别人更好了。（很多东西都是从官网的步骤截图出来的，如果涉及侵权，请联系我删除，谢谢。）
目录
叮当-中文语音对话机器人....
1. 前言....
1.1. 硬件要求....
1.2. 基础技能（Linux基础，python基础）....
1.3. 详细的参考地址....
1.4. 总体结构....
2. 安装dingdang-robot
2.1. 下载dingdang-robot
2.2. 安装Sox
2.3. 安装TaskWarrior
2.4. 安装PocketSphinx 离线STT引擎
2.4.1. 安装Sphinxbase/Pocketsphinx
2.4.2. 安装CMUCLMTK
2.4.3. 安装 Phonetisaurus , m2m-aligner , OpenFST以及 MITLM
3. 配置叮当
3.1. 配置文件
3.2. 配置usb麦克风
3.2.1. 获得声卡编号和设备编号
3.2.2. 配置.asoundrc
3.2.3. 测试命令行录音播放，看看是否能正常工作
3.3. 修改唤醒词
3.3.1. 如果使用的是 PocketSphinx
3.3.2. 如果使用的是 snowboy
4. 运行叮当
5. 安装第三方插件
1.前言
1.1. 硬件要求
linux主机（我的是Ubuntu的工控机，用户名是gec，下面涉及到gec的都变成你们的用户名），麦克风，音响
1.2. 基础技能（Linux基础，python基础）
如果在按照此文安装时，安装不成功时，请仔细查看提示，若提示缺少什么再根据提示进行安装。在创建文件写入文件内容时，最后复制粘贴过去，再进行修改，有些空格或者tab键缩进不对，容易出现错误。
搭建Python环境。在运行此python项目时，若提升缺少某些模块，则用pip命令进行在线安装，即可。
此项目运行起来需要掌握基本的linux命令行操作及python基础即可。
1.3. 详细的参考地址
叮当官网：http://dingdang.hahack.com/
叮当github上的代码：https://github.com/wzpan/dingdang-robot
叮当github上的wiki：https://github.com/wzpan/dingdang-robot/wiki
叮当配置列表：https://github.com/wzpan/dingdang-robot/wiki/configuration
叮当第三方插件：https://github.com/dingdang-robot/dingdang-contrib
叮当第三方插件wiki：https://github.com/dingdang-robot/dingdang-contrib/wiki
1.4 总体架构
术语解释：
STT(speech totext) 语音转换文字，语音识别
TTS(text tospeech) 文字转换语音，语音合成
ASR(automaticspeech recognition) 自动语音识别
工作模式：叮当被唤醒后，用户的语音指令先经过在线 STT 引擎进行 ASR 识别成文本，然后对识别到的文本进行技能匹配，交给适合处理该指令的技能插件去处理。插件处理完成后，得到的结果再交给 TTS 引擎合成语音，播放给用户。
2.安装dingdang-robot
2.1. 下载dingdang-robot
输入命令如下
git clonehttps://github.com/wzpan/dingdang-robot.git dingdang
cd dingdang
之后安装必须的pypi库
sudo pip install --upgrade setuptools
sudo pip install -r client/requirements.txt
接下来创建一个.dingdang目录，该目录用于维护你的个人数据（注意是带了点的 .dingdang 目录）：
mkdir /home/gec/.dingdang
将叮当配置文件的内容拷贝下来保存为 /home/gc/.dingdang/profile.yml 。
2.2. 安装Sox
百度的语音合成结果返回的是 mp3 格式的音频，因此需要安装一个 mp3 播放器播放合成结果：
sudo apt-get install sox # 用于播放音乐
sudo apt-get install libsox-fmt-mp3 # 添加 sox 的 mp3 格式支持
2.3. 安装TaskWarrior
用于日程提醒。软件源自带的版本较老，不支持时间粒度的提醒。因此需编译安装较新的 2.5.1 版本：
cd $HOME
wgethttps://taskwarrior.org/download/task-2.5.1.tar.gz
tar xzvf task-2.5.1.tar.gz
cd task-2.5.1
cmake -DCMAKE_BUILD_TYPE=release .-DENABLE_SYNC=OFF
make
sudo make install
如果提示找不到cmake 或者 uuid，则需要安装一下：
sudo apt-get install cmake uuid-dev
完成后创建一个 .taskrc 文件用来记录日程：
touch /home/gec/.taskrc
2.4. 安装PocketSphinx 离线STT引擎
PocketSphinx 是叮当所使用的离线STT引擎，用于离线唤醒。要使用它总共需要安装如下一些程序：
l sphinxbase & pocketsphinx
l CMUCLMTK
l MIT Language Modeling Toolkit
l m2m-aligner
l Phonetisaurus
2.4.1. 安装Sphinxbase/Pocketsphinx
Stretch 已经包含了 PocketSphinx 的源，可以先装预编译的版本：
sudo apt-get install pocketsphinx # for stretch
如果是 Ubuntu 系统，则应该安装另一个包：
apt-get install pocketsphinx-hmm-en-hub4wsj
预编译的版本包含了hmm 库 pocketsphinx-hmm-en-hub4wsj ，省去自己编译的麻烦。但这个版本没有包含 Python 的接口，所以还得拉源码构建一次。
wgethttp://downloads.sourceforge.net/project/cmusphinx/sphinxbase/0.8/sphinxbase-0.8.tar.gz
tar -zxvfsphinxbase-0.8.tar.gz
cd sphinxbase-0.8/
./configure--enable-fixed
make
sudo make install
wgethttp://downloads.sourceforge.net/project/cmusphinx/pocketsphinx/0.8/pocketsphinx-0.8.tar.gz
tar -zxvfpocketsphinx-0.8.tar.gz
cd pocketsphinx-0.8/
./configure
make
sudo make install
2.4.2. 安装CMUCLMTK
sudo apt-getinstall subversion autoconf libtool automake gfortran g++ --yes
svn cohttps://svn.code.sf.net/p/cmusphinx/code/trunk/cmuclmtk/
cd cmuclmtk/
./autogen.sh && make && sudo make install
cd ..
2.4.3. 安装 Phonetisaurus , m2m-aligner , OpenFST以及MITLM
先下载源码：
wgethttp://distfiles.macports.org/openfst/openfst-1.4.1.tar.gz
wgethttps://github.com/mitlm/mitlm/releases/download/v0.4.1/mitlm_0.4.1.tar.gz
wgethttps://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/m2m-aligner/m2m-aligner-1.2.tar.gz
wgethttps://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/phonetisaurus/is2013-conversion.tgz
解压：
tar -xvfm2m-aligner-1.2.tar.gz
tar -xvfopenfst-1.4.1.tar.gz
tar -xvfis2013-conversion.tgz
tar -xvfmitlm_0.4.1.tar.gz
编译安装 OpenFST：
cd openfst-1.4.1/
sudo ./configure--enable-compact-fsts --enable-const-fsts --enable-far --enable-lookahead-fsts--enable-pdt
sudo make install # come back after a really long time
编译安装 M2M：
cd m2m-aligner-1.2/
sudo make
sudo cp m2m-aligner /usr/local/bin/m2m-aligner
编译安装 MITLMT：
cd mitlm-0.4.1/
sudo ./configure
sudo make install
编译安装 Phonetisaurus：
cd is2013-conversion/phonetisaurus/srcsudo makesudo cp ../../bin/phonetisaurus-g2p /usr/local/bin/phonetisaurus-g2p然后需要下载已编译好的 Phonetisaurus FST 模型以及叮当内置的词汇模型：
- g014b2b.zip：https://pan.baidu.com/s/1o7MrWIA 下载完后放在 /home/pi/ 目录下执行 unzip 命令解压。
- vocabularies.zip：https://pan.baidu.com/s/1kWfqP3x （备选下载地址）下载完后放在 /home/gec/.dingdang/ 目录下执行 unzip 命令解压。注意是带了点的 .dingdang 目录。
注意如果你是在另外一台机上下载这两个文件，你可能需要使用 fstp 命令来发送文件至叮当的主机上。
3.配置叮当
3.1. 配置文件
配置文件于/home/gec/.dingdang/profile.yml下（注意是加了点的 .dingdang ）。每次修改，需重启叮当生效。
robot_name: 'DINGDANG' # 必须使用大写
robot_name_cn: '叮当'
first_name: '伟洲'
last_name: '潘'
timezone: HKT
location: '深圳'
# 是否接入微信
wechat: true
# 当微信发送语音时，是直接播放语音还是执行语音命令？
# true：直接播放
# false：执行语音命令（只支持百度STT，其他两种STT识别不准）
wechat_echo: false
# 除了自己之外，还能响应 echo 指令的好友微信名单
# 如果填写 ['ALL'] 表示响应所有微信好友
# 如果填写 [] 表示不响应任何好友
wechat_echo_text_friends: ['小Q', 'HaHack']
# 除了自己之外，还能直接播放语音的好友微信名单
# 如果填写 ['ALL'] 表示播放所有微信好友的语音
# 如果填写 [] 表示不播放任何好友的语音
wechat_echo_voice_friends: ['小Q']
# 当有邮件时，是否朗读邮件标题
read_email_title: true
# 当内容过长（> 200个字）时，是否继续朗读
# true：读
# false：改为发送内容
read_long_content: false
# 最长朗读内容（仅当 read_long_content 为 false 时有效）
max_length: 200
# 是否使用邮箱发送长内容而不是微信
prefers_email: false
# 勿扰模式，该时间段内不执行通知检查
do_not_bother:
enable: true # 开启勿扰模式
since: 23 # 开始时间
till: 9 # 结束时间，如果比 since 小表示第二天
# 语音合成服务配置
# 可选值：
# baidu-tts - 百度语音识别
# iflytek-tts - 讯飞语音合成
# ali-tts - 阿里语音合成
# google-tts - 谷歌语音合成
tts_engine: ali-tts
# STT 服务配置
# 可选值：
# sphinx - pocketsphinx离线识别引擎（需训练，参考修改唤醒词教程）
# baidu-stt - 百度在线语音识别
# iflytek-stt - 讯飞语音识别
# ali-stt - 阿里语音识别
# google-stt - 谷歌语音合成
stt_engine: ali-stt
# 离线唤醒 SST 引擎
# 可选值：
# sphinx- pocketspinx离线唤醒
# snowboy-stt - snowboy离线唤醒
stt_passive_engine: sphinx
# pocketsphinx 唤醒SST引擎（默认）
pocketsphinx:
fst_model: '/home/pi/g014b2b/g014b2b.fst'
# snowboy 唤醒SST引擎（可选）
#https://snowboy.kitt.ai/dashboard
snowboy:
model: '/home/pi/dingdang/client/snowboy/dingdangdingdang.pmdl' # 唤醒词模型
sensitivity: "0.5" # 敏感度
# 百度语音服务
#http://yuyin.baidu.com/
baidu_yuyin:
api_key: '填写你的百度应用的API Key'
secret_key: '填写你的百度应用的Secret Key'
per: 0 # 发音人选择 0：女生；1：男生；3：度逍遥；4：度丫丫
# 讯飞语音服务
# api_id 及 api_key 需前往
#http://aiui.xfyun.cn/webApi
# 注册获取（注意创建的是WebAPI应用），仅使用语音合成无需注册
# 然后将主板的ip地址添加进ip白名单（建议使用中转服务器的ip地址 101.132.139.80）
iflytek_yuyin:
api_id: '填写你的讯飞应用的Api ID'
api_key: '填写你的讯飞应用的Api Key' # 没看到这个说明不是注册的WebAPI应用，请改注册个WebAPI应用
vid: '67100'#语音合成选项： 60120为小桃丸 67100为颖儿 60170为萌小新 更多音色见wiki
url: 'http://api.musiiot.top/stt.php'# 白名单ip中转服务器（可选）
# 阿里云语音
# ak_id及ak_secret需前往
#https://data.aliyun.com/product/nls
# 注册获取
ali_yuyin:
ak_id: '填写你的阿里云应用的AcessKey ID'
ak_secret: '填写你的阿里云应用的AcessKey Secret'
voice_name: 'xiaoyun'#xiaoyun为女生，xiaogang为男生
# 谷歌语音
# api_key 的获取方式：
# 1. Join the ChromiumDev group:
# https://groups.google.com/a/chromium.org/forum/?fromgroups#!forum/chromium-dev
# 2. Create aproject through the Google Developers console:
# https://console.developers.google.com/project
# 3. Select yourproject. In the sidebar, navigate to "APIs & Auth." Activate
# the Speech API.
# 4. Under"APIs & Auth," navigate to "Credentials." Create a newkey for
# public API access.
google_yuyin:
language: 'zh-CN'
api_key: ''
# 聊天机器人
# 可选值：
# tuling - 图灵机器人
# emotibot - 小影机器人
robot: tuling
# 图灵机器人
#http://www.tuling123.com
tuling:
tuling_key: '填写你的图灵机器人API Key'
# 小影机器人
#http://botfactory.emotibot.com/
emotibot:
appid: '填写你的 emotibot appid'
active_mode: true # 是否主动说更多点话
# 邮箱
# 如果使用网易邮箱，还需设置允许第三方客户端收发邮件
email:
enable: true
address: '你的邮箱地址'
password: '你的邮箱密码' # 如果是网易邮箱，须填写应用授权密码而不是登录密码！
smtp_server: 'smtp.163.com'
smtp_port: '25' # 这里填写非SSL协议端口号
imap_server: 'imap.163.com'
imap_port: '143' # 这里填写非SSL协议端口号
# 拍照
# 需接入摄像头才能使用
camera:
enable: false
dest_path: "/home/pi/camera"# 保存目录
quality: 5 # 成像质量（0~100）
vertical_flip: true # 竖直翻转
horizontal_flip: false # 水平翻转
count_down: 3 # 倒计时（秒），仅当开启倒计时时有效
sendToUser: true # 拍完照是否发送到邮箱/微信
sound: true # 是否有拍照音效
usb_camera: false # 是否使用USB摄像头（默认是树莓派5MP摄像头）
#######################
# 第三方插件的配置
#######################
# 在这里放第三方插件的配置
# https://github.com/wzpan/dingdang-contrib
# 网易音乐
netease_music:
account: '你的网易云音乐手机账户' # 只支持手机账户
password: '你的密码'
report: true # 是否播报即将播放的音乐
local_path: '/home/gec/Music/' # 本地音乐目录
local_default: True # 默认播放本地音乐
# 天气
# 使用心知天气的接口
#https://www.seniverse.com/
weather:
key: '你的心知天气 key'
location: '北京'
#简单的备忘插件
#ToDo
todo:
file_path: '/home/gec/todo.txt'
#百度FM电台
baidufm:
channel: 39 # 默认播放本地音乐
#微博热点
weibo_resou:
enabled: true
3.2. 配置usb麦克风
3.2.1. 获得声卡编号和设备编号
3.2.2. 配置.asoundrc
首先创建.asoundrc 文件，打开终端输入 touch/home/gec/.asoundrc
之后添加您选择的声卡编号，在.asoundrc文件输入如下内容
3.2.3. 测试命令行录音播放，看看是否能正常工作。
录音：arecord -d 3 temp.wav
回放录音： aplay temp.wav
3.3. 修改唤醒词
叮当默认的唤醒词是“叮当”（DINGDANG）(不过从2017-8-12镜像版本开始，唤醒词改为了“嘿叮当”)，如果需要换成其他唤醒词，根据你选用的 STT 引擎，有不同的方法。
3.3.1. 如果使用的是 PocketSphinx
- 在 profile.yml 配置文件中修改 robot_name 和 robot_name_cn 配置项；
- 编写一个 keyword.txt 文件，包含至少两个名字的全拼：
DINGDANG
ROBOT
其中 ROBOT 替换为你需要的机器人名字的全拼。
- 到 lmtool 里上传你刚刚创建的 keyword.txt 并编译成模型。
- 把得到的 .dic 文件和 .lm 文件分别重命名为 dictionary 和 languagemodel，替换 /home/pi/.dingdang/vocabularies/pocketsphinx-vocabulary/keyword 下的同名文件。
- 重新运行 dingdang ，看看新的唤醒词灵敏度如何。如果不理想，换成别的唤醒词。
3.3.2. 如果使用的是 snowboy
- 到 https://snowboy.kitt.ai/ ，训练你自己的模型；
- 下载模型并上传到树莓派中，存放的路径可以随意，比如 /home/.dingdang/snowboy/my-model.pmdl ；
- 修改 profile.yml 中 snowboy 的 model 的路径为你训练好的模型的路径。
要注意的是，snowboy 的唤醒词最好选择更多人贡献的语音，这样可以得到更为平均的唤醒模型。成熟的商业音箱的唤醒，是针对某个唤醒词，同样的麦克风环境，录入成百上千个语料，进行训练的结果。所以效果会好很多。如果只用自己录制的几个样本作为训练样本，识别率和唤醒率都不会很理想。
4. 运行叮当
cd /home/gec/.dingdang
python dingdang.py
项目启动后，叮当会说，xx，我能为您做什么？
使用：通过 叮当 唤醒。唤醒后会有滴一声的提示，在此提示后可以进行问问题。第二声表示结束监听输入的语音。
5. 安装第三方插件
如果要用到叮当的技能，则要执行此步骤。
叮当机器人的用户贡献插件，插件列表如下图所以。更详细内容请看官网说明及使用，网页链接https://github.com/dingdang-robot/dingdang-contrib/wiki。
安装
cd /home/pi/.dingdang
git clonehttp://github.com/dingdang-robot/dingdang-contrib contrib
pip install -rcontrib/requirements.txt
使用
使用哪个插件，需要在相应的网站注册并创建应用，获得ak_id,ak_secret 或者相应的API key,并在配置文件profile.yml 增加上要使用第三方插件的配置。
