基于Python+树莓派的婴幼儿智能监测机器人

概要设计说明书

1. 引言

1.1 编写目的

​ 在本婴幼儿智能监测机器人系统的前一阶段，也就是需求分析阶段中，已经将系统用户对本系统的需求做了详细的阐述，这些用户需求已经在需求规格说明书中得到详尽的叙述及阐明。

​ 本阶段已在系统的需求分析的基础上，对婴幼儿智能监测机器人系统做概要设计。主要解决了实现该系统需求的程序模块设计问题。包括如何把该系统划分成若干个模块、决定各个模块之间的接口、模块之间传递的信息，以及数据结构、模块结构的设计等。在以下的概要设计报告中将对在本阶段中对系统所做的所有概要设计进行详细的说明。

​ 在下一阶段的详细设计中，程序设计员可参考此概要设计报告，在概要设计对婴幼儿智能监测机器人系统所做的模块结构设计的基础上，对系统进行详细设计。在以后的软件测试以及软件维护阶段也可参考此说明书，以便于了解在概要设计过程中所完成的各模块设计结构，或在修改时找出在本阶段设计的不足。

1.2 开发目的

​ 在国家二胎政策全面开放的背景下，我国每年新生婴幼儿比例呈逐年上升趋势。同时伴随着生活节奏的加快，婴儿如何科学健康看护，成为当下许多人关注的焦点。然而我国儿童智能硬件市场中服务型机器人品种相对单一，不能满足现在市场的需求。因此需要一款功能较齐全操作简便的机器人来帮助人们分担看护婴幼儿的重任。

​ 本项目的智能看护机器人采用计算机视觉和自然语言处理技术，解决了在不同的模式下人们看护的弊端。面部图像识别、人工智能问答等功能极大的顺应了时代的发展，提高了当下人们的生活质量，为不同的家庭提供不同的便捷。

​ 预期读者:本系统的开发者和维护者

1.3 背景

​ 婴幼儿看护产品在欧美国家已经有 30 多年的使用历史，在家庭看护中使用也非常普遍，研究技术先进，创新能力也较强。世界第一台智能机器人是由美国 “机器人之父”的约瑟夫·恩格尔伯格发明。最初的智能看护机器人可以辅助残障人士正常生活,专业陪护,看护服务,无障碍出行,无障碍家居，具备提醒用药、监测血压等功能，不仅适用于养老机构，更适用于子女不在身边的独居老人。

​ 与之相比，中国行业的整体水平仍处于模仿起步阶段，研发力量的投入、市场定位的聚焦、创新意识的激发仍有待提高，智能看护现在在我国多应用于医疗行业，服务对象也以病人和老人为主，对婴儿的看护相对缺乏。

​ 故而本项目针对国内婴幼儿智能监护机器人的匮乏问题，对于已有的项目进行创新，最大化实现科学看护婴儿。

​ 二胎政策的国情据调查研究显示，2019年我国的新生婴儿人数达1016万，但是我国智能家居服务型机器人研究相对薄弱。所以居家服务型智能机器人的开发将会是智能硬件开发的主流方向。

说明：

• 待开发软件系统的名称；婴幼儿智能监测机器人

• 此项目的任务提出者：天气组合团队

• 开发者：天气组合团队

• 用户：年轻父母

• 运行该软件的计算站（中心）：

1.4 描述

​ 本项目的婴幼儿智能监测机器人采用计算机视觉和自然语言处理技术，调用基本接口开发出新的功能，解决了在不同情景下人们看护的弊端。

​ 如：静态看护模式下的面部图像识别功能，能够根据婴幼儿的面部表情分析其情绪以及需求；动态看护模式下的追随并且可以实现基本的躲避障碍功能，除此外设有人工智能问答功能，提供简单方便的操作方式；室内环境的监测包括湿度、温度以及压强，若达到一定时间会自动更新等功能，监测的结果通过阿里云 IOT平台作为订阅端将得到的属性值反馈到web界面。此项目的研发极大的顺应了时代的发展，可以有效的提高当下人们的生活质量，为不同的家庭提供不同程度的便捷服务。

1.5 相关技术

● 树莓派（Raspberry Pi）：一款基于 Linux 的单板机电脑。它由英国的树莓派

基金会所开发，目的是以低价硬件及自由软件促进学校的基本计算机科学教育。它是一款基于 ARM 的微型电脑主板，以 SD/MicroSD 卡为内存硬盘，卡片主板周围有 1/2/4 个 USB 接口和一个 10/100 以太网接口（A 型没有网口），可连接键盘、鼠标和网线，同时拥有视频模拟信号的电视输出接口和 HDMI 高清视频输出接口。硬件信息：CPU: Broadcom BCM2837、ARM Cortex-A43 1.2GHz 44-bit quad-coreARMv8CPU、GPU:BroadcomVideoCroreIV，OpenGLES2.0,1080p30 h.244/MPEG-4 AVC 高清解码器、RAM：1GB (LPDDR2)。

● 自然语言处理（NLP）：自然语言处理是研究在人与人交际中以及人与计算机

交际中的语言问题的一门学科。自然语言处理要研制表示语言能力（linguistic competence）和语言应用（linguisticperformance）的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。

● 面部表情识别(FER)：人工智能领域的一个新兴的研究课题,研究目标是让一些人工智能产品例如机器人能够自动地识别出人的表情,进而分析人的情感.机器自动面部表情识别能够进一步增强人机交互的友好性与智能性,因此具有非常重要的研究和应用价值,是计算机视觉研究的重要组成部分。

• ●Touch sense 传感器：检测装置，能感受到被测量的信息，并能将感受到的信
• 息，按一定规律变换成为电信号或其他所需形式的信息输出，以满足信息的传输、处理、存储、显示、记录和控制等要求。
• ●I2C 总线：由 Philips 公司开发的一种简单、双向二线制同步串行总线。它只
• 需要两根线即可在连接于总线上的器件之间传送信息。
• ●I2C 接口：I2C 总线的接口均为集电极开路（OC）或漏极开路（OD）的形式输

出，其主要是为防止 I2C 总线上的信号混乱， I2C 总线上的输出端没有安装上拉电阻时，只能输出低电平，如果需要保证 I2C 总线正常工作，就需要在 I2C 总线的输出端加上拉电阻 R1 和 R2。

● 物联网应用开发 (IoT Studio)：阿里云针对物联网场景提供的生产力工具，可

覆盖各个物联网行业核心应用场景，帮助您高效经济地完成设备、服务及应用开发。物联网开发服务提供了移动可视化开发、Web 可视化开发、服务开发与设备开发等一系列便捷的物联网开发工具，解决物联网开发领域开发链路长、技术栈复杂、协同成本高、方案移植困难的问题，重新定义物联网应用开发。

2. 总体设计

2.1 需求规定

​ NLP 自然语言处理模块（语音识别/语音合成）：输入：语音识别：调用麦克风，或者使用本地音频文件作为程序段的输入语音合成：调用本地文本文件作为程序段的输入处理的功能性能：语音识别：判断麦克风是否打开判断音频文件是否存在判断是否联网语言合成：判断麦克风是否打开判断文本文件是否存在判断是否联网输出：语音识别：根据输入语音生成的文本语音合成：根据输入文本生成的语音

图像识别模块：

输入：

• 调用摄像头，或者使用本地视频作为程序段的输入处理的功能性能：

• 判断摄像头是否打开判断图片是否正常保存判断是否联网，否则会输出提示信息

• 判断画面中是否存在人脸，若不存在，则舍弃本组数据输出：无异常情况下无输出。

• 在婴儿情态异常时，分情况分别输出：“孩子可能尿了”、“孩子可能饿了”等情况。

环境信息实时监测模块：

输入：

传感器检测到的环境中的温度、湿度和压强处理的功能性能：

​ 定义 I2C 接口通信的设备地址和寄存器以及定义初始电压值 paho-mqtt 库安装以及引入

​ 阿里云平台完成设备注册以及信息完善获取三码合一凭证，下载开发 sdk 定义物模型中的属性并上线输出：

​ 每隔 10s 发布一次数据，其中数据包括：温度，湿度，压强，三个维度的磁场强度，以及可以通过 RTMP 协议来传输实时视频

简单避障模块：

输入：

sense hat(B)传感器扩展板和 Touch sense 传感器模块处理的功能性能：

​ 定义 I2C 接口通信的设备地址和寄存器以及定义初始电压值其中包括 ADS1015 以及四路避障模块中连线以及探测距离调到最大值输出：

​ 动作输出，以及四路红外避障模块总集成模块上指示灯根据有无障碍亮起和灭掉。

2.2 运行环境

硬件环境

• 一台带 RTX2080ti 显卡的高性能 PC
• 一台服务器
• 机器人

软件环境

• 操作系统：Raspbian（基于 Debian 的 Linux 系统）
• 集成开发环境：Visual Studio 2016、Xcode 4.2
• 开发语言：Python3
• 浏览器：IE、Chrome

2.3 基本设计概念和处理流程

​ 随着国家二胎政策放开，生活节奏变快，婴儿如何科学省心看护，是当下许多人关注的焦点。婴幼儿智能监测机器人采用计算机视觉和自然语言处理技术，解决了年轻父母看护孩子经验不足的问题，通过问答的形式开启机器人，选择静态看护或者动态看护模式。在静态看护模式下，若婴儿出现饥饿、不适等情况，机器人通过图像识别，判断婴儿不适的原因并及时通过语音反馈给父母。在动态模式下，机器人可以动态追随婴儿，并实现避障功能。本系统也现实了检测室内环境温度、湿度压强等，为婴儿提供最舒适的环境。具体工作流程如图 1 所示。

​ 图 1 婴幼儿智能监测机器人工作模式图

2.4 结构

​ 本系统分为静态模式和动态模式两种模式，在静态模式下，分为语音识别模块和图像识别模块以及环境监测模块，在语音模块下，机器人可以和用户进行语音问答，在图像识别模块下，可以根据婴儿表情判断婴儿不适的原因，在环境监测模块下，可以监测室内的环境，为婴儿提供一个最舒适的环境。动态模式下，是避障模块，可以动态追踪婴儿的行踪，在婴儿学走路时为父母减轻负担。具体结构如图 2 所示。

​ 图 2 婴幼儿智能监测机器人结构图

2.5 功能器求与程序的关系

各模块的功能与程序之间的关系如下表所示：

2.6 尚未问决的问题

​ 确定各个模块具体实现的算法，定义好各个函数的函数名，具体的变量名。

2.7 机器人功能流程分析

系统的用例图

​ 系统用例图，是为了更清晰的展示系统的业务场景的功能实现，同时也是与客户沟通的桥梁。很多东西，千言万语，不如一张图那么直观。程序员也能更直观的面对自己项目的目标。用户系统用例图和开发者系统用例图如图 4.1 所示：用户系统用例图：面部表情识别、语音人工问答、环境监测等。开发者系统用例图：开发者需要第三方选系统接口，如：face++提供的接口、语音合成接口、I2C 接口等。利用这些接口开发、开发新的功能。

表 1 系统用例图—用户

表 2 系统用例图—开发者

2.8 数据流图

从数据传递和开发角度，本图描述了机器人系统的逻辑功能、数据在机器人系统的逻辑流向和逻辑变换过程。

表 3 系统数据流图

3. 接口设计

3.1 用户接口

​ 用户开机后，打开阿里云物联网允许文件，系统会自动开机进程完成实时环境信息传送。打开 NLP 自然语言处理（语音识别/语音合成）模块，进行人工交互。打开静态看护模式图像识别模块，对准备好的视频资料或者现实场景进行监测并得出相应结论返回到系统中显示。

3.2 外部接口

sensehat(B)传感器扩展板(板载了陀螺仪、加速度计、磁力计、气压计和温湿度传感器等，I2C接口通信)其中用到了板载ADS1015芯片，4通道12位精度ADC，可扩展AD功能以便接入更多传感器模块Touch sense 传感器模块 sensehat(B)传感器扩展板(板载了陀螺仪、加速度计、磁力计、气压计和温湿度传感器等，I2C接口通信)其中用到了板载ICM20948(3轴加速度、3轴陀螺仪和3轴磁力计)，可检测运动姿态、方位和磁场 来监测环境磁场板载SHTC3数字温湿度传感器，可感知环境的温度和湿度板载LPS22HB大气压强传感器，可感知环境的大气压强

4. 运行设计

4.1 运行模块组合

​ 婴幼儿智能监测机器人分为两种运行模式，动态运行模式和静态运行模式。在静态模式下，分为语音识别模块和图像识别模块以及环境监测模块，在语音模块下，机器人可以和用户进行语音问答，在图像识别模块下，可以根据婴儿表情判断婴儿不适的原因，在环境监测模块下，可以监测室内的环境，为婴儿提供一个最舒适的环境。动态模式下，是避障模块，可以动态追踪婴儿的行踪，在婴儿学走路时为父母减轻负担。

4.2 运行控制

​ 在静态模式下，分析婴儿不适的原因。首先从本地视频或摄像头中获得视频流，然后每隔 50ms 抓取一次图像，将其保存为图片并投射到屏幕，以供接下来的处理。调用 face++ 提供的接口，获得人脸面部的数据。分析处理获得的 JSON 数据，提取出对我们有用的部分—

—即情绪的组成。通过对表情的组成进行分析，推测婴儿情绪异常的原因。

4.3 运行时间

​ 物联网实时环境传输最大监测时间间隔为 10s，平均采集并上传时间为 5S-10S 之间，在数据传输测试中未出现错误传输数值，更新处理时间设定为 10s。

​ 避障动作间隔为 3s，从采集红外避障模块到计算得到路径并发出动作时间为 3s，在触及 touch 传感器后相应时间也为 3s，完成触控后舞蹈动作之间间隔为 3s。

5. 系统数据结构设计

逻辑结构设计要点

物理结构设计要点

对于输入的数据有以下要求：视频：1080p，实际画面符和日常生活中光照和不同角度影响的图像视频。语音资料：经过噪音化处理的声音与日常生活中常人发出的语音相近即可。

环境信息：符和实际生活环境变化和数值要求。

数据结构与程序的关系

6. 系统出错处理设计

6.1 出错信息

​ 机器人的各个插件可能会因操作不当出现损伤、烧毁。

6.2 补救措施

故障出现后可能采取的变通措施：

• 后备技术：当原始系统数据万一丢失时启用的副本的建立和启动的技术，采用周期性地把磁盘信息记录到磁带上去就是对于磁盘媒体的一种后备技术；

• 降效技术：使用另一个效率稍低的系统或方法来求得所需结果的某些部分，例如一个自动系统的降效技术可以是手工操作和数据的人工记录；

• 恢复及再启动技术：使软件从故障点恢复执行或使软件从头开始重新运行的方法。

6.3 系统维护设计

定期检查维护机器人

7.参考文献

• KarlE.Wiegers. 软件需求（第 2 版）. 北京: 清华大学出版社, 2014

• 张海藩,牟永敏. 软件工程导论（第 4 版）. 北京: 清华大学出版社, 2013

• 郑慧贞. 基于 LSTM 网络和 GMM 的语音检测研究[D].山东师范大学,2019.

• 郑韵,徐开寿,何璐,李金玲,郑玉蔼,刘力茹.斜头畸形婴儿的头型特征及其相关性研究[J].中华实用儿科临床杂志,2017,32(21):1674-1678.

• 詹宇娴,许树杰,凌活龙,刘常烨,陈耿,祝家豪,丁凡,陈景华.基于树莓派的智能家庭机器人[J].电子世界,2020(10):206.

• 吴奇达,黄东升,蒋桢滢,李伟军.一种多功能家用监控机器人及其系统设计[J].福建农机,2020(01):40-45+49.

• 赵梦星,夏全惠.0-3 岁婴幼儿情绪的发展特点及培养策略[J].长春教育学院学报,2018,34(04):18-21.