Tensorflow： AUC的错误/问题与修正
AUC是评价模型的常用指标，Tensorflow作为著名的机器学习框架，自然有对这一指标的计算API，其官网API文档为AUC。
问题
但是，这一API不是很好用，在此举一个很简单的例子：
import tensorflow as tf
x_1 = [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.8, 0.8, 0.9, 1]
y_1 = [1, 1, 1, 1, 1, 0, 0, 0, 0, 0]
x_2 = [1, 0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2, 0.1]
y_2 = [1, 1, 1, 1, 1, 0, 0, 0, 0, 0]
x_placeholder = tf.placeholder(tf.float64, [10])
y_placeholder = tf.placeholder(tf.bool, [10])
auc = tf.metrics.auc(labels=y_placeholder, predictions=x_placeholder)
initializer = tf.group(tf.global_variables_initializer(), tf.local_variables_initializer())
with tf.Session() as sess:
sess.run(initializer)
for i in range(3):
auc_value, update_op = sess.run(auc, feed_dict={x_placeholder: x_1, y_placeholder: y_1})
print('auc_1: ' + str(auc_value) + ", update_op: " + str(update_op))
auc_value, update_op = sess.run(auc, feed_dict={x_placeholder: x_2, y_placeholder: y_2})
print('auc_2: ' + str(auc_value) + ", update_op: " + str(update_op))
# output
# auc_1: 0.0, update_op: 1.999999e-07
# auc_2: 1.999999e-07, update_op: 0.48999995
# auc_1: 0.48999995, update_op: 0.32444444
# auc_2: 0.32444444, update_op: 0.48999995
# auc_1: 0.489999, update_op: 0.3904
# auc_2: 0.3904, update_op: 0.48999998总的来说，上面这段代码反映出的令人困惑的问题有三个：
- 使用AUC时，一定要定义local variable initializer，不然就会报错，但是众所周知，AUC这个指标的计算过程不应该和“变量”产生关联
- 每次计算输出的update_op和下次输出的auc值总是相等
- 同样的输入，计算出的AUC不同
这三个问题我是在2017年夏天发现的，截止2018年8月，TF 1.10rc版本并未解决这一问题，官方文档中也未说明这一现象。
因此，我打算解决这一问题。
解决
经过认真阅读相关的源代码，可以发现，出现这些问题的原因是：Tensorflow在计算AUC这一问题上，采取了一种比较令人困惑的计算真阳性，假阳性，假阴性，真阴性值的计算策略。
为说明这一问题，我简单的贴一段Tensorflow中计算不同阈值下真阳性样本数量的源代码。
# assume num_threshold = 200
# label_is_pos is a tensor with shape (200,) dtype is tf.bool.
# pred_is_pos is a tensor with shape (200,) dtype is tf.bool
true_p = metric_variable([num_thresholds], dtypes.float32, name='true_positives')
is_true_positive = math_ops.to_float(math_ops.logical_and(label_is_pos, pred_is_pos))
update_ops['tp'] = state_ops.assign_add(true_p, math_ops.reduce_sum(is_true_positive, 1))
values['tp'] = true_p
return values, update_ops这段代码说明了产生上述三个问题的原因：
- 计算tp会涉及到一个名为"true_positives"的变量，这是一个tensorflow的局部变量（local variable），这个变量记录了之前调用这一函数时的真阳性数量之和。因此使用auc时，一定要加入local variable initializer，不然就会报错。在第一次调用时，这一变量会被初始化为0。
- 可以确定，assign_add函数是造成update_op和下次输出的auc值总是相等的原因，但是官方的assign_add函数文档写的闪烁其词，源代码依赖太复杂，我还不能阐释这其中的具体细节是什么。
- update_op计算的其实并不是本次输入数据的auc，而是metrics.auc这一函数自从被第一次调用以来，所有单次计算出的auc的累计平均值。因此，每次计算出的AUC总是在变动。
理论上来说，只有第一次使用auc函数时，输出的update_op值是真正的auc，只要多调用几次，后面输出的AUC全部都是平均值，而非当前输入的数据的AUC。按照Tensorflow的官方说法，输出平均值似乎并不是一种错误，而是有意设计成这样的。但是这一设计就使得我们很难追踪测试集的AUC的实时变化，而且说句实在话我也不明白这到底有什么意义。
如果一定要用原生的tf框架，那么每次计算auc前，都要reset一次local variable。然后取auc函数返回的update_ops而非values作为auc的值
当然，每次计算auc都reset一次local variable非常不优雅，而且有潜在的风险。因此，我参考Tensorflow的实现，做了少量的修改，写了一个可以计算计算当前输入的AUC的函数。函数模块在Github上已经贴出，地址。
我修改过的auc函数，返回值只有一个，就是输入参数（标签和预测）所计算出来的AUC值。我删除了和局部变量相关的代码，因此也就不用初始化局部变量了。
参考：https://blog.csdn.net/qq_37747262/article/details/82223155
