2020-02-16 10:11:36
Author | Zhao Han
Compile | Mr Bear
Edit | Cong end
All methods have in common is that, in order to reduce dependence, must sacrifice accuracy to some extent.
--Calders et al
「Building Classifiers with Independency Constraints」
In the early development of artificial intelligence, people tend to stay on the requirements of the algorithm in "quasi" level, the more accurate the predictions seem better. However, with the increasingly artificial intelligence technology into everyday life, people algorithm requires "fairness" is growing. In this paper, researchers from the CMU (Carnegie Mellon University) Zhao Han proposed a method to achieve fairness algorithm through a fair characterization study. (Related papers published in the ICLR 2020)
Figure 1: trade-off between equality of Statistics (Statistical Parity, also known as group equity) and optimal decisions FIG. In this case, because the circles and squares between groups from different repayment rates at the population level, in order to follow the statistical equal, policy makers must either refuse to certain applicants in round repay state (repaying) loan (left), or agree to the loan (right) to certain applicants breach of the square.
With the application of machine learning prevalent in risk areas such as criminal sentencing, medical testing, high in online advertising, ensuring automated decision support system is not critical to the spread of prejudice or discrimination inherent historical data that may exist. Broadly speaking, the literature on the fairness of the algorithm consists of two core "fairness" concept:
-
The first concept is "fair individual." In short, it requires a fair algorithm in a similar approach to similar individuals. However, in practice, it is often difficult to find or design a metric to be socially recognized distance, the standard used to measure the similarity of the individual in the face of a specific task.
-
The second concept is "fair group", which is the focus of this article discussed the issue. More specifically, the so-called statistical uniformly, it is essentially the same as required for the predictor output difference results subgroup.
For example, we may wish to consider the following loan approval issues. If this virtual environment is set with two sets of the loan applicant represented by circles and squares.
Auto loans approved target system C is to predict: If a credit applicant is approved to lend, given to the applicant's description of X, whether he would repayment schedule, C (x) = 1 representatives repayment schedule , C (x) = 0 is not representative of the repayment schedule.
If we use the A = 0 are represented by applicants from circular group, A = 1 represents a group of the applicant from the square, uniformly defined such statistical requirements are as follows:
Fr. (g (x) = 1 | A = 0) = Fr. (g (x) = 1 | A = 1)
Wherein the probability values is based on X, A, Y (i.e., the description information of the applicant, the applicant belongs groups, whether the actual payment of the applicant real tag) D joint distribution obtained. In other words, the statistical requirements of equality of the predictor C (x) independent of the attribute group A: C (x) ⊥A.
First, learn fair characterization
Ensuring the effectiveness of the task as much as possible at the same time a building (approximately) meet the statistical classification of equal way is: learning a fair characterization (see paper "Learning Fair Representations": https: //www.cs. toronto.edu/~toni/Papers/icml-final.pdf).
From a macro that kind of work trying to find a wealth of information characterizing Z (see Professor Richard Zemel related work: http: //www.cs.toronto.edu/~zemel/inquiry/home.php), a types of input variable X wherein conversion mode, so that Z (approximately) independent of a, Z while still contains a wealth of information about the target Y. This goal can be formally defined as the following optimization problem:
Where ε> 0 is a predetermined constant, we use the I (⋅; ⋅) denotes the mutual information between two random variables. As shown in Figure 2, thanks to the recent research progress in learning in depth characterization of the neural network, we can achieve the above optimization problem by confrontational training algorithm. This particular method can be traced back at least to Edwards et al work: "Censoring Representations with an Adversary" (https://arxiv.org/abs/1511.05897).
图 2：学习公平表征的一种算法实现。中间的表征 Z 试图骗过对抗者 A，A 的目标是识别出输入变量的群体属性是「圆形：A=0」还是「方形：A=1」。整体的网络架构可以使用梯度下降法训练。
现在，我们的目标就非常直接了：根据著名的数据处理不等式（DPI），如果我们试图训练一种特征转换方式 Z，使其能够骗过非常强的对抗者（判别器），那么任何使用这种表征的预测器也会是公平的（即满足统计均等）。
二、公平性和效用间的权衡
如图 2 所示的模型包含两个目标函数，我们在训练阶段同时优化他们。第一个目标是为了通过骗过对抗者确保统计均等，第二个目标是为了减小预测 Y 的目标任务的损失函数。
这两个目标函数往往会通过一个调和超参数 λ 融合在一起。然而，统计均等的概念并没有考虑与真实标签 Y 相关的信息。正如你可以想到的，加入某个人的群体特征 A 与其目标标签 Y 高度相关，那么要想使预测器满足统计均等就必然会同时破坏预测器的最佳性能。
例如，在我们图 1 所示的贷款核准问题中，圆形群体的还款率（90%）要高于方形群体的还款率（80%）。根据统计均等的概念，一个公平的预测器必须以相同的比例将贷款发放给圆形和方形群体。举例而言，一个公平的分类器会将贷款恰好发放给 80% 会还款的方形申请者，同时也会将贷款发放给 80% 会还款的圆形申请者（详见图 1 左图）。但是，这就意味着有 10% 确实会还款的圆形申请者会被拒绝放款。
另一种可能的情况是，一个公平的分类器会将贷款恰好发放给 90% 会还款的圆形申请者，同时将贷款发放给 80% 会还款和 10% 不会还款的方形申请者。在我们例子中的这两种情况下，为了满足统计均等的标准，一个公平的分类器都会在预测准确率方面有所损失。当然，也可能存在其它公平的预测器，这些预测器可不可能遭受较小的损失呢？
在 NeurIPS 2019 上发表的论文「Inherent Tradeoffs in Learning Fair Representations」（论文地址：https://arxiv.org/pdf/1906.08386.pdf）中，作者说明了上述两种公平分类器某种程度上说都是效用最优的。就形式化定义而言，令
为由群体属性为
的 产生的 0-1 二分类误差。我们定义：
为各个群体之间基准比率（Base Rate）之差。则下面的定理成立：
定理1：对于任意满足统计均等的预测器 ，
在我们贷款核准的例子中，圆形申请者和方形申请者的还款率之差为 10%，因此
。请注意，上述两种公平分类器针对圆形申请者和方形申请者的的误差率都为 0.1。
根据定理 1，对于任意公平分类器，它在两种群体上的误差率之和必然至少为 10%，所以它们都是最优的。定理 1 是非常直观的，它本质上说明了：
当不同群体的基准比率有差异时，所有满足统计均等的公平分类器都必然会至少在其中一个群体上产生较大的误差。
具体而言，根据鸽巢原理，我们很容易发现任意的公平分类器必然会至少在其中一个群体上产生至少
的误差率。此外，该结论是预算法无关的，它在群体层面上成立（即使用大的训练集并不能有所帮助）。接下来，让我们深入分析 这个量：
如果 A⊥Y，那么Pr(Y=1 | A=0) = Pr(Y=1 | A=1)，这意味着。也就是说，如果群体属性与目标无关，那么上述下界为 0，因此此时不存在效用和公平性的权衡。
如果基于可以确定 A=Y 或 A=1-Y，那么 将取到其最大值 1。在这种情况下，任何公平分类器都必然会在至少一个群体上产生至少为 0.5 的误差。
通常而言， 取介于 0 和 1 之间的值，正是这个值表示了在二分类情况下对于公平性和效用的权衡。
三、公平表征学习的权衡
定理 1 仅仅在某种「精确」的情况下成立：预测器需要「精确地」满足统计均等。然而，实际上，由于有限的训练数据量或模型容量，这种要求可能是难以实现的。
我们是否有可能在某种预测器只能近似地满足统计均等的标准时，表示这种内在的权衡？如果可能的话，这种表征的特性将会在何时、以何种方式发挥作用？
事实证明，这种近似有助于减小定理 1 中的下界。具体而言，令
为给定 A=a 时的条件分布 D。对于特征转换函数
来说，令
为 Da 在使用 g 转换后的前推分布（Pushforward Distribution）。此外，如果我们使用
代表两个概率分布之间的总变分距离，那么下面的定理成立：定理 2：令 为一种特征变换。对于任意（随机的）假设
，令
为一种预测器，则下面的不等式成立：
首先，显然当
时，定理 2 退化到了定理 1 中的下界。
在本例中，同样根据数据处理不等式（DPI），任何作用于 Z 的假设 h 也会在不同的群体上以相同的比率输出结果，因此是公平的。
其次，要意识到，
越小，则下界越大。因此，当 较大时，针对不同群体的表征对齐地越好，则不同群体上的误差之和也会越大。
需要指出的是，选择总变分距离作为分布对齐质量的度量没有什么特别之处。在论文「Inherent Tradeoffs in Learning Fair Representations」的 3.2 节，我们使用 f 散度给出了一种一般性分析，读者可以也可以使用其它的散度测度（例如，HS 距离、Hellinger 距离等）对其进行实例化，从而得到相同的下界。
从积极的一面来看，在一定的条件下，我们也证明了学习公平的表征有助于实现另一种公平的概念，即准确率均等，它要求组间的误差率相等。
四、实际情况如何？
上述下界意味着在群体间过度对齐的特征分布将会不可避免地导致更大的联合误差。为了证明这种可能性，我们在真实世界数据集（UCI 成人数据集）上进行了实验。这里的任务是收入预测（年薪是否高于 50,000），群体属性则对应于「男性/女性」。对于该数据集而言，
，即在 1994 年男性年收入大于 50,000 的比率比女性高 19.7%。
我们实现了图 2 所示的模型，将对抗性损失的权衡超参数 λ 取了不同的值：0.1，1.0，5.0，以及 50.0。实验结果如图 3 所示：
图 3：统计均等的权衡，以及在不同这种系数 λ 下群体间的误差率之和。
在图 3 中，我们绘制出了三种度量标准以及它们随着 λ 增大而发生的变化。第一个竖条对应于联合误差（即
），它是在成人数据集上的整体误差。第二个红色的竖条代表群体间误差率之和，这正是在我们的定理 1 和定理 2 中都出现了的下界。第三个灰色竖条对应于衡量 满足统计均等的程度的差异得分（gap score）。具体而言，灰色的竖条代表的是：
。简而言之，这个差异得分越小，预测器越满足统计均等。
正如预期的那样，随着 λ 的增大，差异得分迅速减小。当 λ=50.0 时，相应的 已经非常接近于满足统计均等。另一方面，我们也可以观察到，随着 λ 的增大，红色的竖条也迅速增大，最终群体间误差之和达到了大于 0.36 的水平。
请注意，在图 3 中，黑色的水平线对应于 ，所有的红色薯条都超过了这个水平线，这与我们的理论分析结果是一致的。实际上， 是非常容易计算的，它可以在不实际训练公平分类器的情况下，限制它们所产生的误差之和。
五、结语
理解效用和统计均等之间的基本权衡既有趣又充满挑战。在我们的论文和这篇博文中，我们在二元分类问题的环境下，给出了对这种内在权衡的简单而直观的描述：当各群体之间的基准比率不同时，任何满足统计均等的公平分类器都必然至少在其中一个群体上产生较大的误差！
However, if we find a problem in the regression in the corresponding description way, is still a problem to be solved, it is not clear how we will expand this proven strategy to regression analysis similar to weigh up.
On the other hand, our results illustrate, the statistical equal fairness is defined as flawed. When we define the concept of fairness, it should also be the target of information into account. For example, equal probability and accuracy rate, etc. are two additional equity define groups, which are compatible with a perfect predictor.
We recently published in the ICLR 2020 paper "Conditional Learning of Fair Representations" also presents an algorithm in binary classification problem, once again achieve these two standards by learning to characterize approximately.
Papers address: https: //openreview.net/forum id = Hkekl0NFPr?
Via https://blog.ml.cmu.edu/
