特征筛选6——肯德尔相关系数筛选特征（单变量筛选）

肯德尔系数主要是用来判断两个有序序列的相关性

大致的计算流程：

1. 对x与y先进行排序，得到不同的值对应的顺序
2. x与y配对计算，判断他们的顺序的一致对 (x的顺序与y的顺序相同) 和分歧对 (x的顺序与y的顺序相反)
3. 最后根据这个顺序的统计结果计算得到肯德尔系数的结果

注：我们可以看到，如果x或y序列中有大量的值重复，比如部分完全相同的x与y序列，这个就很难区分了。因此有基于这种思想的不同的计算方法（成为肯德尔系数的变种），在scipy.stats.kendalltau中参数variant='b'就是指定变种。

更多请参考：scipy.stats.kendalltau文档参考：https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.kendalltau.html

简易示例：

from scipy.stats import kendalltau

if __name__ == '__main__':
    corr_values = kendalltau(
        [1, 2, 3, 4, 5],
        [5, 4, 3, 2, 5],
    )
    print(corr_values)

示例代码

import pandas as pd
from sklearn.datasets import make_classification


def kendalltau_selection(x_data, y_data):
    """肯德尔相关系数"""
    from scipy.stats import kendalltau
    param_dict = []
    for col_name, c_data in x_data.iteritems():
        sp = kendalltau(c_data, y_data)[0]
        param_dict.append([col_name, abs(sp)])
    max_param3 = sorted(param_dict, key=lambda x: -x[1]) # 对结果排序
    # 打印结果
    print("kendalltau:")
    for param in max_param3:
        print(param[0], ":", param[1])


if __name__ == '__main__':
    value_x, value_y = make_classification(n_samples=1000, n_classes=4, n_features=10, n_informative=8)
    df_x = pd.DataFrame(value_x, columns=['f_1', 'f_2', 'f_3', 'f_4', 'f_5', 'f_6', "f_7", "f_8", "f_9", "f_10"])
    df_y = pd.Series(value_y)
    # 下面是筛选单变量特征
    feature_df = kendalltau_selection(df_x, value_y)

参考资料

常用的特征选择方法之 Kendall 秩相关系数：https://guyuecanhui.github.io/2019/08/10/feature-selection-kendall/