Rasa课程、Rasa培训、Rasa面试、Rasa实战系列之Measuring Bias in Word Embeddings
Measuring Bias in Word Embeddings
词嵌入是一组广泛使用的自然语言处理技术，可将词映射到实数向量。这些向量用于提高生成模型和预测模型的质量。最近的研究表明，词嵌入包含并放大了数据中存在的偏见，例如刻板印象和偏见。
2017 年，在普林斯顿大学信息技术政策中心，Joanna Bryson、Arvind Narayanan 开发了一些方法，证明词嵌入可以从词共现统计中学习类似人类的偏见。 当表示概念的词频繁出现具有某些属性时，词嵌入学习将概念与同时出现的属性相关联。例如，包含与厨房或艺术相关的词的句子往往包含与女性相关的词。但是，包含职业、科学和技术术语的句子往往包含与男性相关的词。结果，当机器处理语言以学习词嵌入时，女性作为一个社会群体，相对于男性而言，与家庭和艺术等词的出现非常接近；而男性作为一个社会群体，与职业、科学和技术密切相关。我们发现，性别、种族、年龄和这些特征之间的交叉点存在刻板印象。
学习动态上下文相关词嵌入的最先进的大型语言模型，例如价值数百万美元的模型 GPT-3，将男性与在下游 NLP 任务中展示更高教育水平的能力和职业联系起来。 许多专家认为 GPT-3 生成的文本与基于各种标准的人工生成的文本没有区别。 当提示输入“医生的性别是什么？”进行语言生成时 第一个答案是，“医生是一个男性名词；” 然而，当提示“护士的性别是什么？”时 第一个答案是，“它是女性。”