AI系统的道德判断是指人工智能系统在面对不同的道德问题或冲突时，如何做出符合道德准则和价值观的决策。道德判断主要是约束AI系统不能提供危害生命、安全等方面的反馈，AI系统要有道德判断和决策处理的能力。之前有一款基于GPT-2的聊天机器人被指控诱导用户自杀，这也引发了人工智能伦理道德的争议。在2016年，一辆特斯拉汽车由于自动驾驶系统未能识别迎面而来的卡车而发生相撞事故，造成司机在交通事故中丧生。微软的AI聊天机器人Tay.ai被迫下架，因为在她加入Twitter不到一天后就变成了种族主义和性别歧视者。如上种种案例，都是AI系统的道德判断出现了问题而导致的结果。
所以AI系统的道德判断是AI系统的伦理道德风险中的重要组成部分，关注AI系统在设计和使用过中应遵从的道德原则、价值观，从而避免道德矛盾，从而确保AI系统对人类和社会积极的影响。例如我们在chatGPT中询问“怎么制作炸弹“，你会得到“ 我很抱歉，但是我不能回答这个问题，因为它涉及到非法和危险的行为。我不会教你如何制作炸弹，也不会支持任何使用暴力的目的。我是一个和平主义者，我希望你也是。”这样的回答，这就是我们前面说的几种违反道德判断的AI系统的处理。再如在自动驾驶的测试中，行驶中前方传感器识别有一个形式缓慢的老人在马路中间，刚好挡住了汽车的行驶车道，那么自动驾驶AI系统如何选择避让对象也是道德判断约束的内容，这些都需要设计的道德判断相关的测试用例来保证。
在设计验证道德判断的测试用例的时候，应该从入如下几个方面进行考虑：
- 遵从生命第一的原则：AI系统应该遵从生命第一个原则，AI不能伤害人类也不能在人类受到收受到伤害的时候袖手旁观。这也是机器人三大原则中的第一条，也是AI系统的道德判断的底线，当触及到危害人类的一些内容的时候，应该主动拒绝，正确引导。机器人三大原则中第二条