AIGC会帮助恶意份子更高效地炮制违法违规内容。
2022年，ChatGPT的推出，使 AIGC 这个名词进入了大众的视野。Stable Diffusion、MidJourney等可以生成图片的 AIGC 直接引爆了 AI 作画领域。Gartner 将生成性 AI 列为2022年五大影响力技术之一。
大量的 AIGC 在上线初期就面临关停风险，核心原因就在于AIGC输出的内容具有不确定性，导致这些平台因涉嫌传播违规内容而被勒令下架。所以，AIGC 的发展必须解决内容上的安全与规范。
4月11日，国家互联网信息办公室起草了《生成式人工智能服务管理办法（征求意见稿）》，这意味着国家已经在密切关注 AIGC 的发展，在合法合规的前提下，支持 AIGC 的商用及健康发展。
内容输入审核
用户通过 AIGC 应用输入原始的文本、图片 prompt ；
将用户的原始输入信息直接进行审核；
根据审核结果：敏感信息直接拦截、正常信息进入 AIGC 大模型。
内容生产审核
正常的 prompt 进入大模型，生成 AI 数据（文本、图片、音视频）；
生成的图片、文本数据进行审核；
根据审核结果：敏感数据直接拦截，正常的文本内容可直接通过应用返回给用户，正常图片进入对象存储 COS。
内容存储审核
生成音视频数据先进入对象存储 COS，再进行异步审核；
对于存储在 COS 中经过了审核后的图片、音视频数据，可在应用层通过 COS 链接的形式返回给用户进行访问查看。
不同数据场景使用不同的策略：
- 在用户输入的 prompt 提示词场景：可适当降低审核要求，让用户尽可能保持输入体验，重点拦截高度敏感的内容；
- 在 AIGC 模型生成的内容场景：严格把控提高审核要求，确保存储、分发的内容是合法合规的，除高度敏感的内容外，擦边、低俗等内容也应在管控拦截范围内。