原文出处：https://www.jianshu.com/p/90ed27810474
第7章 基本统计分析
在数据被组织成合适的形式后，可以使用图形探索数据，接下来是使用数值描述每个变量的分布，然后则是两两探索所选择变量之间的关系。
本章将评述用于生成基本的描述性统计量和推断统计量的R函数。
7.1 描述性统计分析
本节介绍分析连续型变量中心趋势、变化性和分布性的方法。
使用第1章中Motor Trend杂志的车辆路试（mtcars）数据集。重点关注每加仑汽油行驶英里数（mpg）、马力（hp）和车重（wt）。
> vars <- c("mpg", "hp", "wt")
> head(mtcars[vars])
> > #查看三个变量的数据
mpg hp wt
Mazda RX4 21.0 110 2.620
Mazda RX4 Wag 21.0 110 2.875
Datsun 710 22.8 93 2.320
Hornet 4 Drive 21.4 110 3.215
Hornet Sportabout 18.7 175 3.440
Valiant 18.1 105 3.460
将首先查看所有32中车型的描述性统计量，然后按照变速箱类型（am）和汽缸数（cyl）考察描述性统计量。变速箱类型是以0表示自动档、1表示手动档来编码的二分变量，汽缸数为4、5或6。
7.1.1 方法云集
在描述性统计量的计算方面，R中的选择非常多。从基础安装中包含的函数开始，然后查看那么些用户贡献包中的扩展函数。
集中安装中，可用summary( )函数获取描述性统计量。
代码清单7-1 通过summary( )计算描述性统计量
> #7-1
> summary(mtcars[vars])
mpg hp wt
Min. :10.40 Min. : 52.0 Min. :1.513
1st Qu.:15.43 1st Qu.: 96.5 1st Qu.:2.581
Median :19.20 Median :123.0 Median :3.325
Mean :20.09 Mean :146.7 Mean :3.217
3rd Qu.:22.80 3rd Qu.:180.0 3rd Qu.:3.610
Max. :33.90 Max. :335.0 Max. :5.424
summary( )函数提供了最小值、最大值、四分位数和数值型变量的均值，以及因子向量和逻辑型向量的频数统计。
第5章中的apply( )函数或sapply( )函数计算所选择的任意描述性统计量。对于sapply( )函数，使用格式为：
sapply(x, FUN, options)
其中x是数据框（或矩阵），FUN为一个任意函数。如果指定了options，它们将被传递给FUN。可以在这里插入的典型函数有mean、sd、var、min、median、length、range和quantile。函数fivenum( )可返回图基五数总括（即最小值、下四分位数、中位数、上四分位数和最大值）。
代码清单7-2 通过sapply( )计算描述性统计量
> mystats <- function(x, na.omit=FALSE) { #na.omit为0不移除缺失观测的整行
+ if (na.omit)
+ x <- x[!is.na(x)] #如果存在缺失，则删除单个保留其他有效数据
+ m <- mean(x) #均值
+ n <- length(x) #有效观测数
+ s <- sd(x) #标准差
+ skew <- sum((x-m)^3/s^3)/n #偏度
+ kurt <- sum((x-m)^4/s^4)/n - 3 #峰度
+ return(c(n=n, mean=m, stdev=s, skew=skew, kurtosis=kurt))
+ }
> sapply(mtcars[vars], mystats)
mpg hp wt
n 32.000000 32.0000000 32.00000000 #观测数
mean 20.090625 146.6875000 3.21725000 #均值
stdev 6.026948 68.5628685 0.97845744 #标准差
skew 0.610655 0.7260237 0.42314646 #偏度
kurtosis -0.372766 -0.1355511 -0.02271075 #峰度
样本中的车型，每加仑汽油行驶英里数的平均值为20.1，标准差为6.0。分布呈现右偏（偏度+0.61），并且较正态分布稍平（峰度-0.37）。
如果只希望单纯地忽略缺失值，应当使用：
sapply(mtcars[vars], mystats, na.omit=TRUE)
Himsc包中的describe( )函数可返回变量和观测的数量、缺失值和唯一值的数目、平均值、分位数，以及五个最大的值和五个最小的值。
代码清单7-3 通过Hmisc包中的describe( )函数计算描述性统计量
> library(Hmisc)
> describe(mtcars[vars])
mtcars[vars] pastecs包中有一个名为stat..desc( )的函数，可以计算种类繁多的描述性统计量。使用格式为：
stat.desc(x, basic=TRUE, desc=TRUE, norm=FALSE, p=0.95)
其中的x是一个数据框或时间序列。若basic=TRUE（默认值），则计算其中所有值、空值、缺失值的数量，以及最小值、最大值、值域和综合。若desc=TRUE（默认值），则计算中位数、平均数、平均数的标准误差，平局数置信度为95%的置信区间、方差、标准差以及变异系数。若norm=TRUE（非默认），则返回正态分布的统计量，包括偏度和峰度（以及它们的统计显著程度）和Shapiro - Wilk正态检验结果。这里使用了p值来计算平均数的置信区间（默认为0.95）。
代码清单7-4 通过pastecs包中的stat.desc( )函数计算描述性统计量
> library(pastecs)
> stat.desc(mtcars[vars])
mpg hp wt
nbr.val 32.0000000 32.0000000 32.0000000
nbr.null 0.0000000 0.0000000 0.0000000
nbr.na 0.0000000 0.0000000 0.0000000
min 10.4000000 52.0000000 1.5130000
max 33.9000000 335.0000000 5.4240000
range 23.5000000 283.0000000 3.9110000
sum 642.9000000 4694.0000000 102.9520000
median 19.2000000 123.0000000 3.3250000
mean 20.0906250 146.6875000 3.2172500
SE.mean 1.0654240 12.1203173 0.1729685
CI.mean.0.95 2.1729465 24.7195501 0.3527715
var 36.3241028 4700.8669355 0.9573790
std.dev 6.0269481 68.5628685 0.9784574
coef.var 0.2999881 0.4674077 0.3041285
psych包中的describe( )函数，可以计算非缺失值的数量、平均数、标准差、中位数、截尾均值、绝对中位差、最小值、最大值、值域、峰度和平均值的标准误差。
代码清单7-5 通过psych包中的describe( )计算描述性统计量
> library(psych)
> describe(mtcars[vars])
vars n mean sd median trimmed mad min max range skew
mpg 1 32 20.09 6.03 19.20 19.70 5.41 10.40 33.90 23.50 0.61
hp 2 32 146.69 68.56 123.00 141.19 77.10 52.00 335.00 283.00 0.73
wt 3 32 3.22 0.98 3.33 3.15 0.77 1.51 5.42 3.91 0.42
kurtosis se
mpg -0.37 1.07
hp -0.14 12.12
wt -0.02 0.17
psych包和Hmisc包均提供了名为describe( )的函数。R在调用时优先调用最后载入的程序包中的。如果强制调用，可以使用Hmisc::describe( )。
7.1.2 分组计算描述型统计量
在比较多组个体或观测时，关注的焦点经常是各组的描述性统计信息。在R中完整这个任务有托干中方法，以变速箱类型各水平的描述性统计量开始。
在第5章中，介绍了整合数据的方法。可以使用aggregate( )函数（5.6.2节）来分组获取描述性统计量。
代码清单7-6 使用aggregate( )分组获取描述性统计量
> aggregate(mtcars[vars], by=list(am=mtcars$am), mean)
am mpg hp wt
1 0 17.14737 160.2632 3.768895
2 1 24.39231 126.8462 2.411000
> aggregate(mtcars[vars], by=list(am=mtcars$am), sd)
am mpg hp wt
1 0 3.833966 53.90820 0.7774001
2 1 6.166504 84.06232 0.6169816
注意list(am=mtcars$am)</code>的使用。如果使用的是<code>list(mtcars$am)，则am列被标注为Group.1而不是am。通过这个赋值指定了一个更有帮助的列标签。如果有多个分组变量，可以使用by=list(name1=groupvar1, name2=groupvar2, ... , groupvarN)这样的语句。
但是，aggregate( )仅允许在每次调用中使用平均数、标准差这样的单返回值函数。无法一次返回若干个统计量。此时可以使用by( )函数，格式为：
by(data, INDICES, FUN)
其中data是一个数据框或矩阵，INDICES是一个因子或因子组成的列表，定义了分组，FUN是任意函数。
代码清单7-7 使用by( )分组计算描述性统计量
> dstats <- function(x)sapply(x, mystats)
> myvars <- c("mpg", "hp", "wt")
> by(mtcars[myvars], mtcars$am, dstats)
mtcars$am: 0
mpg hp wt
n 19.00000000 19.00000000 19.0000000
mean 17.14736842 160.26315789 3.7688947
stdev 3.83396639 53.90819573 0.7774001
skew 0.01395038 -0.01422519 0.9759294
doBy包和psych包也提供了分组计算描述性统计量的函数。doBy包中的summaryBy( )函数的使用格式为：
summaryBy(formula, data=dataframe, FUN=function)
其中的formula接受以下的格式：
var1 + var2 + var3 + ... + varN ~ groupvar1 + groupvar2 + ... + groupvarN
在~左侧的变量是需要分析的数值型变量，而右侧的变量是类别型的分组变量。function可为任何内建或用户自编的R函数。
代码清单7-8 使用doBy包中的summaryBu( )分组计算概述统计量
> library(doBy)
> summaryBy(mpg+hp+wt~am,data=mtcars, FUN=mystats)
am mpg.n mpg.mean mpg.stdev mpg.skew mpg.kurtosis hp.n hp.mean hp.stdev
1 0 19 17.14737 3.833966 0.01395038 -0.8031783 19 160.2632 53.90820
2 1 13 24.39231 6.166504 0.05256118 -1.4553520 13 126.8462 84.06232
hp.skew hp.kurtosis wt.n wt.mean wt.stdev wt.skew wt.kurtosis
1 -0.01422519 -1.2096973 19 3.768895 0.7774001 0.9759294 0.1415676
2 1.35988586 0.5634635 13 2.411000 0.6169816 0.2103128 -1.1737358
psych包中的describeBy( )函数可计算和describe相同的描述性统计量，只是按照一个或多个分组变量分层。
代码清单7-9 使用psych包中的describe.by( )`分组计算概述统计量
> library(psych)
> myvars <- c("mpg", "hp", "wt")
> describe.by(mtcars[myvars], mtcars$am)
> #describe.by弃用，请使用descriBy( )
$`0`
vars n mean sd median trimmed mad min max range skew
mpg 1 19 17.15 3.83 17.30 17.12 3.11 10.40 24.40 14.00 0.01
hp 2 19 160.26 53.91 175.00 161.06 77.10 62.00 245.00 183.00 -0.01
wt 3 19 3.77 0.78 3.52 3.75 0.45 2.46 5.42 2.96 0.98
kurtosis se
mpg -0.80 0.88
hp -1.21 12.37
wt 0.14 0.18
$`1`
vars n mean sd median trimmed mad min max range skew
mpg 1 13 24.39 6.17 22.80 24.38 6.67 15.00 33.90 18.90 0.05
hp 2 13 126.85 84.06 109.00 114.73 63.75 52.00 335.00 283.00 1.36
wt 3 13 2.41 0.62 2.32 2.39 0.68 1.51 3.57 2.06 0.21
kurtosis se
mpg -1.46 1.71
hp 0.56 23.31
wt -1.17 0.17
describeBy( )不允许指定任意函数，适应性较差。若存在多个分组变量，可使用list(groupvar1, groupvar2, ... , groupvarN)表示它们。但这仅在分组变量交叉口不出现空白单元时有效。
最后，使用5.6.3节中描述的reshape包灵活地按组导出描述性统计量。首先，使用：
dfm <- melt(dataframe, mesure.vars=y, id.vars=g)
融合数据框。其中的dataframe包含这数据，y是一个向量，指明了要进行概述的数值型变量（默认使用所有的变量），而g是由一个或多个分组变量组成的向量。然后使用：
cast(dfm, groupvar1 + groupvar2 + ... + variable ~ . , FUN)
重铸数据。分组变量以+号分隔，这里的variable只取其字面含义，而FUN是一个任意函数。
代码清单7-10 通过reshape包分组计算概述统计量
> library(reshape)
> dstats <- function(x) (c(n=length(x), mean=mean(x), sd=sd(x)))
> #定义函数dstats，求均值，标准差
> dfm <- melt(mtcars, measure.vars=c("mpg", "hp", "wt"), id.vars=c("am", "cyl"))
> #数据融合，按照am，cyl对mpg、hp、wt融合统计
> cast(dfm, am + cyl + variable ~ ., dstats)
> 按照am，cyl分组，对其变量求均值、标准差
am cyl variable n mean sd
1 0 4 mpg 3 22.900000 1.4525839
2 0 4 hp 3 84.666667 19.6553640
3 0 4 wt 3 2.935000 0.4075230
4 0 6 mpg 4 19.125000 1.6317169
5 0 6 hp 4 115.250000 9.1787799
6 0 6 wt 4 3.388750 0.1162164
7 0 8 mpg 12 15.050000 2.7743959
8 0 8 hp 12 194.166667 33.3598379
9 0 8 wt 12 4.104083 0.7683069
10 1 4 mpg 8 28.075000 4.4838599
11 1 4 hp 8 81.875000 22.6554156
12 1 4 wt 8 2.042250 0.4093485
13 1 6 mpg 3 20.566667 0.7505553
14 1 6 hp 3 131.666667 37.5277675
15 1 6 wt 3 2.755000 0.1281601
16 1 8 mpg 2 15.400000 0.5656854
17 1 8 hp 2 299.500000 50.2045815
18 1 8 wt 2 3.370000 0.2828427
> dfm
am cyl variable value
1 1 6 mpg 21.000
2 1 6 mpg 21.000
3 1 4 mpg 22.800
4 0 6 mpg 21.400
7.1.3 结果的可视化
分布特征的数值刻画很重要，但不能代替视觉呈现。
7.2 频数表和列联表
类别型变量的频数表和列联表，以及相应的独立性检验、相关性的度量、图形化展示结果的方法。
本节数据来自vcd包中的Arthritis数据集。表示一项风湿性关节炎新疗法的双盲临床实验结果。
数据展示：
> #数据展示
> library(vcd)
载入需要的程辑包：grid
> head(Arthritis)
ID Treatment Sex Age Improved
1 57 Treated Male 27 Some
2 46 Treated Male 29 None
3 77 Treated Male 30 None
4 17 Treated Male 32 Marked
5 36 Treated Male 46 Marked
6 23 Treated Male 58 Marked
7.2.1 生成频数表
R中提供了用于创建频数表和列联表的若干方法。部分列于表中：
1. 一维列联表
可以使用table( )函数生成简单的频数统计表。示例如下：
> mytable <- with(Arthritis, table(Improved))
> #with限定数据框
> mytable
Improved
None Some Marked
42 14 28
> prop.table(mytable)
> #表中条目转化为比例值
Improved
None Some Marked
0.5000000 0.1666667 0.3333333
> prop.table(mytable)*100
> #百分比
Improved
None Some Marked
50.00000 16.66667 33.33333
2. 二维列联表
对于二维列联表，table( )函数的使用格式为：
mytable <- table(A, B)
其中A是行变量，B是列变量。
xtabs( )函数还可使用公式风格的输入创建列联表，格式为：
mytable <- xtabs(~ A + B, data=mydata)
其中mydata是一个矩阵或数据框。要进行交叉分类的变量应出现在公式的右侧（即~符号右方），以+作为分隔符。若某个变量卸载公式左侧，则其为一个频数向量（在数据已经被表格化时很有用）。
> mytable <- xtabs(~ Treatment + Improved, data=Arthritis)
> mytable
Improved
Treatment None Some Marked
Placebo 29 7 7
Treated 13 7 21
可以使用margin.table( )和prop.table( )函数分别生成边际频数和比例。行和与行比例可以这样计算：
> margin.table(mytable, 1)
Treatment
Placebo Treated
43 41
> prop.table(mytable, 1)
Improved
Treatment None Some Marked
Placebo 0.6744186 0.1627907 0.1627907
Treated 0.3170732 0.1707317 0.5121951
下标1指代table( )语句中的第一个变量。
列和与列比例可以这样计算：
> margin.table(mytable, 2)
Improved
None Some Marked
42 14 28
> prop.table(mytable, 2)
Improved
Treatment None Some Marked
Placebo 0.6904762 0.5000000 0.2500000
Treated 0.3095238 0.5000000 0.7500000
这里的下标2指代table( )语句中的第二个变量。
各单元格比例可用如下语句获取：
> prop.table(mytable)
Improved
Treatment None Some Marked
Placebo 0.34523810 0.08333333 0.08333333
Treated 0.15476190 0.08333333 0.25000000
addmargins( )函数可为表格添加边际和。
> addmargins(mytable)
Improved
Treatment None Some Marked Sum
Placebo 29 7 7 43
Treated 13 7 21 41
Sum 42 14 28 84
> addmargins(prop.table(mytable))
Improved
Treatment None Some Marked Sum
Placebo 0.34523810 0.08333333 0.08333333 0.51190476
Treated 0.15476190 0.08333333 0.25000000 0.48809524
Sum 0.50000000 0.16666667 0.33333333 1.00000000
> #在使用addmargins( )时，默认为表中所有变量创建边际和
> addmargins(prop.table(mytable, 1), 2)
Improved
Treatment None Some Marked Sum
Placebo 0.6744186 0.1627907 0.1627907 1.0000000
Treated 0.3170732 0.1707317 0.5121951 1.0000000
> #上方仅添加各行的和
> addmargins(prop.table(mytable, 2), 1)
Improved
Treatment None Some Marked
Placebo 0.6904762 0.5000000 0.2500000
Treated 0.3095238 0.5000000 0.7500000
Sum 1.0000000 1.0000000 1.0000000
> #添加列和
注意：table( )函数默认忽略缺失值（NA）。要在频数统计中将NA视为一个有效的类别，请设定参数useNA="ifany"。
使用gmodels包中的CrossTable( )函数是创建二维列联表的第三种方法。CrossTable( )函数仿照SAS中PROC FREQ或SPSS中CROSSTABS的形式生成二维列联表。
代码清单7-11 使用CrossTable生成二维列联表
> library(gmodels)
> CrossTable(Arthritis$Treatment, Arthritis$Improved)
Cell Contents
|-------------------------|
| N |
| Chi-square contribution |
| N / Row Total |
| N / Col Total |
| N / Table Total |
|-------------------------|
Total Observations in Table: 84
| Arthritis$Improved
Arthritis$Treatment | None | Some | Marked | Row Total |
--------------------|-----------|-----------|-----------|-----------|
Placebo | 29 | 7 | 7 | 43 |
| 2.616 | 0.004 | 3.752 | |
| 0.674 | 0.163 | 0.163 | 0.512 |
| 0.690 | 0.500 | 0.250 | |
| 0.345 | 0.083 | 0.083 | |
--------------------|-----------|-----------|-----------|-----------|
Treated | 13 | 7 | 21 | 41 |
| 2.744 | 0.004 | 3.935 | |
| 0.317 | 0.171 | 0.512 | 0.488 |
| 0.310 | 0.500 | 0.750 | |
| 0.155 | 0.083 | 0.250 | |
--------------------|-----------|-----------|-----------|-----------|
Column Total | 42 | 14 | 28 | 84 |
| 0.500 | 0.167 | 0.333 | |
--------------------|-----------|-----------|-----------|-----------|
CrossTable( )函数有很多选项，可以计算（行、列、单元格）的百分比，指定小数位数；进行卡方、Fisher和McNemar独立性检验；计算期望和（皮尔逊、标准化、调整的标准化）残差；将缺失值作为一种有效值；进行行和列标题的标注；生成SAS或SPSS风格的输出。相见help(CrossTable)。
3、多维列联表
table( )和xlab( )都可以基于三个或更多的类别型变量生成多维列联表。margin.table( )、prop.table( )和addmargins( )函数可以自然地推广到高于二维的情况。另外，ftable( )函数可以紧凑地输出多维列联表。
代码清单7.12 多维列联表
> library(vcd)
载入需要的程辑包：grid
> mytable <- xtabs(~ Treatment + Sex + Improved, data = Arthritis)
> mytable
, , Improved = None
Sex
Treatment Female Male
Placebo 19 10
Treated 6 7
, , Improved = Some
Sex
Treatment Female Male
Placebo 7 0
Treated 5 2
, , Improved = Marked
Sex
Treatment Female Male
Placebo 6 1
Treated 16 5
> ftable(mytable) #ftable输出紧凑表格
Improved None Some Marked
Treatment Sex
Placebo Female 19 7 6
Male 10 0 1
Treated Female 6 5 16
Male 7 2 5
> margin.table(mytable, 1)
Treatment
Placebo Treated
43 41
> margin.table(mytable, 2)
Sex
Female Male
59 25
> margin.table(mytable, 3)
Improved
None Some Marked
42 14 28
> margin.table(mytable, c(1, 3))
Improved
Treatment None Some Marked
Placebo 29 7 7
Treated 13 7 21
> ftable(prop.table(mytable, c(1, 2))
+ )
Improved None Some Marked
Treatment Sex
Placebo Female 0.59375000 0.21875000 0.18750000
Male 0.90909091 0.00000000 0.09090909
Treated Female 0.22222222 0.18518519 0.59259259
Male 0.50000000 0.14285714 0.35714286
> ftable(addmargins(prop.table(mytable, c(1, 2)), 3)
+ )
Improved None Some Marked Sum
Treatment Sex
Placebo Female 0.59375000 0.21875000 0.18750000 1.00000000
Male 0.90909091 0.00000000 0.09090909 1.00000000
Treated Female 0.22222222 0.18518519 0.59259259 1.00000000
Male 0.50000000 0.14285714 0.35714286 1.00000000
>
比例将被添加到不在prop.table( )调用中的下标上（上例中是第三个下标，或Improve）。在最后一个表格中看出，因为那里为第三个下标添加了边际和。
列联表可以展示组成表格的各种变量组合的频数或比例。
7.2.2 独立性检验
R提供了多种检验类别型变量独立性的方法。
1、卡方独立性检验
chisq.test( )函数可对二维表的行变量进行卡方独立性检验。
代码清单7-13 卡方独立性检验
> library(vcd)
> mytable <- xtabs(~ Treatment + Improved, data = Arthritis)
> chisq.test(mytable)
Pearson's Chi-squared test
data: mytable
X-squared = 13.055, df = 2, p-value = 0.001463
> mytable <- xtabs(~ Improved + Sex, data = Arthritis)
> chisq.test(mytable)
Pearson's Chi-squared test
data: mytable
X-squared = 4.8407, df = 2, p-value = 0.08889
Warning message:
In chisq.test(mytable) : Chi-squared近似算法有可能不准
第一个计算结果：p<0.01，患者接收的治疗和改善的水平可能存在某种关系；
第二个计算结果：p>0.05，患者性别和改善情况之间互相独立。
2、Fisher精确检验
fisher.test( )函数可进行FIsher精确检验。Fisher精确检验的厡假设是：边界固定的列联表中行和列是互相独立的。调用格式为：
fisher.test(mytable)
其中mytable为一个二维列联表。
> mytable <- xtabs(~ Treatment + Improved, data = Arthritis)
> fisher.test(mytable)
Fisher's Exact Test for Count Data
data: mytable
p-value = 0.001393
alternative hypothesis: two.sided
这里的fisher.test( )函数可以在任意行列数大于等于2的二维列联表上使用，但不能用于2×2列联表。
3、Cochran-Mantel-Haenszel检验
mentelhaen.test( )函数可用来进行Cochran-Mantel-Haenszel卡方检验，其原假设是，两个名义变量在第三个变量的每一层中都是条件独立的。
下列代码检验治疗情况和改善情况在性别的每一水平下是否独立。此检验假设不存在三阶交互作用（治疗情况×改善情况×性别）。
> mytable <- xtabs(~ Treatment + Improved + Sex, data = Arthritis)
> mantelhaen.test(mytable)
Cochran-Mantel-Haenszel test
data: mytable
Cochran-Mantel-Haenszel M^2 = 14.632, df = 2, p-value = 0.0006647
>
结果表明，患者接收的治疗与得到的改善在性别的每一水平下并不独立（即，分性别来看，用药治疗的患者较接收安慰剂的患者有了更多的改善）。
7.2.3 相关性度量
显著性检验评估了是否存在充分的证据以拒绝变量见相互独立的厡假设。如果可以拒绝原假设，问题转向用以衡量相关性强弱的相关性度量。
vcd包中的assocstats( )函数可以用来计算二维列联表的phi系数、列联系数和Cramer’s V系数。
代码清单7-14 二维列联表的相关性度量
> library(vcd)
> mytable <- xtabs(~ Treatment + Improved, data = Arthritis)
> assocstats(mytable)
X^2 df P(> X^2)
Likelihood Ratio 13.530 2 0.0011536
Pearson 13.055 2 0.0014626
Phi-Coefficient : NA
Contingency Coeff.: 0.367
Cramer's V : 0.394
总体来说，较大的值意味着较强的相关性。vcd包也提供了一个kappa( )函数，可以计算混淆矩阵的Cohen’s kappa值以及加权的kappa值。（混淆矩阵可以表示两位评判者对于一系列对象进行分类所得结果的一致程度。）
7.2.4 结果的可视化
vcd包中拥有优秀的、用于可视化多维数据集中类别型变量间关系的函数，可以绘制马赛克图和关联图（参见11.4节）。ca包中的对应分析函数允许使用多种几何表示（Nenadic & Greenacre，2007）可视地探索列联表中行和列之间的关系。
7.2.5 将表转换为扁平格式
拥有一个列联表如何转化为原始数据，提供一个示例：
代码清单7-15 通过table2flat将表转换为扁平格式
> table2flat <- function(mytable) {
+ df <- as.data.frame(mytable)
+ rows <- dim(df)[1]
+ cols <- dim(df)[2]
+ x <- NULL
+ for (i in 1:rows) {
+ for (j in 1:df$Freq[i]) {
+ row <- df[i, c(1:(cols-1))]
+ x <- rbind(x, row)
+ }
+ }
+ row.names(x) <- c(1:dim(x)[1])
+ return(x)
+ }
此函数可以接收一个R中的表格（行列数任意）并返回一个扁平格式的数据框。也可以使用这个函数输入别处的表格。
以下表为例进行转换输入
代码清单7-16 使用table2flat( )`函数转换已发表的数据
> treatment <- rep(c("Placebo", "Treated"), times=3)
> improved <- rep(c("None", "Some", "Marked"), each=2)
> Freq <- c(29, 13, 7, 17, 7, 21)
> #纵向数据
> mytable <- as.data.frame(cbind(treatment, improved, Freq))
> mydata <- table2flat(mytable)
> head(mydata)
treatment improved
1 Placebo None
2 Placebo None
3 Placebo None
4 Placebo None
5 Treated None
6 Placebo Some
7.3 相关
相关系数可以用来描述定量变量之间的关系。相关系数的符号（±）表明关系的方向（正相关或负相关），其值表示关系的强弱程度。
本节使用R基础安装中的state.x77数据集，它提供了美国50个州在1977年的人口、收入、文盲率等数据。此外使用psych包和ggm包。
7.3.1 相关类型
R可以计算多种相关系数，包括Pearson相关系数、Spearman相关系数、Kendall相关系数、偏相关系数、多分格（polychoric）相关系数和多系列（polyserial）相关系数。
1、Prarson、Spearman和Kendall相关系数
Pearson积差相关系数衡量了两个定量变量之间的线性相关程度。Spearman等级相关系数则衡量分级定序变量之间的相关程度。Kendall’sTau相关系数也是一种非参数的等级相关度量。
cor( )函数可以计算这三种相关关系，而cov( )函数可用来计算协方差。两个函数的参数有很多，其中与相关系数的计算有关的参数可以简化为：
cor(x, use= , method= )
- x是矩阵或数据框；
- use指定缺失数据的处理方式(all.obs假设无缺失数据，遇到将报错；everything缺失数据相关系数计算为missing；complete.obs行删除；pairwise.complete.obs成对删除)；
- method指定相关系数的类型，pearson、spearman或kendall。
- 默认的参数为
use="everything"和method="pearson"。
代码清单7-17 协方差和相关系数
> states <- state.x77[, 1:6]
> cov(states)
Population Income Illiteracy Life Exp Murder
Population 19931683.7588 571229.7796 292.8679592 -407.8424612 5663.523714
Income 571229.7796 377573.3061 -163.7020408 280.6631837 -521.894286
Illiteracy 292.8680 -163.7020 0.3715306 -0.4815122 1.581776
Life Exp -407.8425 280.6632 -0.4815122 1.8020204 -3.869480
Murder 5663.5237 -521.8943 1.5817755 -3.8694804 13.627465
HS Grad -3551.5096 3076.7690 -3.2354694 6.3126849 -14.549616
HS Grad
Population -3551.509551
Income 3076.768980
Illiteracy -3.235469
Life Exp 6.312685
Murder -14.549616
HS Grad 65.237894
> cor(states)
Population Income Illiteracy Life Exp Murder
Population 1.00000000 0.2082276 0.1076224 -0.06805195 0.3436428
Income 0.20822756 1.0000000 -0.4370752 0.34025534 -0.2300776
Illiteracy 0.10762237 -0.4370752 1.0000000 -0.58847793 0.7029752
Life Exp -0.06805195 0.3402553 -0.5884779 1.00000000 -0.7808458
Murder 0.34364275 -0.2300776 0.7029752 -0.78084575 1.0000000
HS Grad -0.09848975 0.6199323 -0.6571886 0.58221620 -0.4879710
HS Grad
Population -0.09848975
Income 0.61993232
Illiteracy -0.65718861
Life Exp 0.58221620
Murder -0.48797102
HS Grad 1.00000000
> cor(states, method="speraman")
Error in match.arg(method) :
'arg' should be one of “pearson”, “kendall”, “spearman”
> cor(states, method="spearman")
Population Income Illiteracy Life Exp Murder HS Grad
Population 1.0000000 0.1246098 0.3130496 -0.1040171 0.3457401 -0.3833649
Income 0.1246098 1.0000000 -0.3145948 0.3241050 -0.2174623 0.5104809
Illiteracy 0.3130496 -0.3145948 1.0000000 -0.5553735 0.6723592 -0.6545396
Life Exp -0.1040171 0.3241050 -0.5553735 1.0000000 -0.7802406 0.5239410
Murder 0.3457401 -0.2174623 0.6723592 -0.7802406 1.0000000 -0.4367330
HS Grad -0.3833649 0.5104809 -0.6545396 0.5239410 -0.4367330 1.0000000
默认情况下得到结果为方阵（所有变量之间两两计算相关）。可以计算非方形的相关矩阵，示例：
> x <- states[, c("Population", "Income", "Illiteracy", "HS Grad")]
> y <- states[, c("Life Exp", "Murder")]
> cor(x, y)
Life Exp Murder
Population -0.06805195 0.3436428
Income 0.34025534 -0.2300776
Illiteracy -0.58847793 0.7029752
HS Grad 0.58221620 -0.4879710
2、偏相关
偏相关是指在控制一个或多个定量变量时，另外两个定量变量之间的相互关系。ggm包中的pcor( )函数可计算偏相关系数。函数调用格式为：
pcor(u, S)
其中的u是一个数值向量，前两个值表示要计算相关系数的变量下标，其余的数值为条件变量（即要排除影响的变量）的下标。S为变量的协方差矩阵。示例：
> library(ggm)
> pcor(c(1, 5, 2, 3, 6), cov(states))
[1] 0.3462724
控制收入2、文盲率3和高中毕业率6影响时，人后1和谋杀率5之间的相关系数为0.346。偏相关系数常用语社会科学研究。
3、其他类型的相关
polycor包中的hetcor( )函数可以计算一种混合的相关矩阵，其中包括数值型变量的Pearson积差相关系数、数值型变量和有序变量之间的多系列相关系数、有序变量之间的多分格相关系数以及二分变量之间的四分相关系数。多系列、多分格和四分相关系数都假设有序变量或二分变量由潜在的正态分布导出。
7.3.2 相关性的显著性检验
得到相关系数后，进行统计显著性检验。常用的厡假设为变量间不相关（即总体的相关系数为0）。可以使用cor.test( )函数对单个的Pearson、Spearman和Kendall相关系数进行检验。简化后的使用格式为：
cor.test(x, y, alternative = , method = )
其中x和y为要检验相关性的变量，alternative则用来指定进行双侧检验或单侧检验（取值为“two.side”、”less”或”greater”），而method用以指定要计算的相关类型（“pearson”、“kendall”或“spearman”）。研究的假设为总体的相关系数小于0时，使用alternative="less"。在研究的假设为总体的相关系数大于0时，应使用alternative="greater"。在默认情况下，假设为alternative="two.side"（总体相关系数不等于0）。
代码清单7-18 检验某种相关系数的显著性
> cor.test(states[, 3], states[, 5])
Pearson's product-moment correlation
data: states[, 3] and states[, 5]
t = 6.8479, df = 48, p-value = 1.258e-08
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
0.5279280 0.8207295
sample estimates:
cor
0.7029752
cor.tets( )每次只能检验一种相关关系。但psych包中提供的corr.test( )函数可以一次做更多的事情。
代码清单7-19 通过corr.test计算相关矩阵并进行显著性检验
> library(psych)
> corr.test(states, use="complete")
Call:corr.test(x = states, use = "complete")
Correlation matrix
Population Income Illiteracy Life Exp Murder HS Grad
Population 1.00 0.21 0.11 -0.07 0.34 -0.10
Income 0.21 1.00 -0.44 0.34 -0.23 0.62
Illiteracy 0.11 -0.44 1.00 -0.59 0.70 -0.66
Life Exp -0.07 0.34 -0.59 1.00 -0.78 0.58
Murder 0.34 -0.23 0.70 -0.78 1.00 -0.49
HS Grad -0.10 0.62 -0.66 0.58 -0.49 1.00
Sample Size
[1] 50
Probability values (Entries above the diagonal are adjusted for multiple tests.)
Population Income Illiteracy Life Exp Murder HS Grad
Population 0.00 0.59 1.00 1.0 0.10 1
Income 0.15 0.00 0.01 0.1 0.54 0
Illiteracy 0.46 0.00 0.00 0.0 0.00 0
Life Exp 0.64 0.02 0.00 0.0 0.00 0
Murder 0.01 0.11 0.00 0.0 0.00 0
HS Grad 0.50 0.00 0.00 0.0 0.00 0
To see confidence intervals of the correlations, print with the short=FALSE option
>
可以看出人口数量和高中毕业了的相关系数（-0.10）并不显著地不为0（p=0.5）。
- 其他显著性检验
在7.4.1节中，介绍了偏相关系数。在多元正态性假设下，ggm包中的pcor.test( )函数可以用来检验在控制一个或多个额外变量时两个变量之间的独立性。使用格式为：
pcor.test(r, q, n)
其中的r是有pcor( )函数计算得到的偏相关系数，q为要控制的变量数（以数值表示位置），n为样本大小。
此外，psych包中的t.test( )函数提供了多种使用的显著性检验方法。
7.3.3 相关关系的可视化
以相关系数表示的二元关系可以通过散点图和散点图矩阵进行可视化，而相关图（correlogram）则为以一种有意义的方式比较大量的相关系数提供了一种独特而强大的方法。图形将在第11章详述。
7.4 t检验
针对变量为连续型的组间比较，并假设其呈正态分布。
MASS包中的UScrime数据集。包含1960年美国47个州的刑罚制度对犯罪率影响的信息。Prob监禁概率，U1（1424岁男性失业率），U2（3539岁男性失业率）。类别型变量So（该州是否位于南方的知识变量）最为分组变量使用。
7.4.1 独立样本的t检验
一个针对两组的独立样本t检验可以用于检验两个总体的均值相等的假设。假设两组数据独立，并且是从正态总体中抽得。检验的调用格式为：
t.test(y ~ x, data)
其中的y是一个数值型变量，x是一个二分变量。调用格式为：
t.test(y1, y2)
其中的y1和y2为数值型向量（即各组的结果变量）。可选参数data的取值为一个包含了这些变量的矩阵或数据框。
这里的t检验默认假定方差不相等，并使用Welsh的修正自由度。可以添加参数var.equal=TRUE假的方差相等，并使用合并方差估计。默认的备择假设是双侧的（即均值不想等，但大小的方向不确定）。可以添加参数alternative=“less”或alternative="greater"进行有方向的检验。
在下列代码中，我们使用了一个假设方差不等的双侧检验，比较南方和非南方各州的监禁概率：
> library(MASS)
> t.test(Prob ~ So, data=UScrime)
Welch Two Sample t-test
data: Prob by So
t = -3.8954, df = 24.925, p-value = 0.0006506
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
-0.03852569 -0.01187439
sample estimates:
mean in group 0 mean in group 1
0.03851265 0.06371269
>
厡假设南方各州和非南方各州拥有相同监禁概率拒绝，p<0.001。
7.4.2 非独立样本的t检验
在两组的观测之间相关时，获得的是一个非独立组设计（dependent groups design）。前-后测设计（pre-post design）或重复测量设计（repeated measures design）同样也会产生非独立的组。
非独立样本的t检验假定组间的差异呈正态分布。
> library(MASS)
> sapply(UScrime[c("U1", "U2")], function(x) (c(mean=mean(x), sd=sd(x))))
U1 U2
mean 95.46809 33.97872
sd 18.02878 8.44545
> with(UScrime, t.test(U1, U2, paired=TRUE))
Paired t-test
data: U1 and U2
t = 32.407, df = 46, p-value < 2.2e-16
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
57.67003 65.30870
sample estimates:
mean of the differences
61.48936
>
差异的均值（61.5）足够大，可以保证拒绝年长和年轻男性的平均失业率相同的假设。年轻男性的失业率更高。
7.4.3 多余两组的情况
如果在对于两个组之间进行比较，在假设数据从正态总体中独立抽样得到时，可以使用方差分析（ANOVA）。ANOVA是一套覆盖了许多实验设计和准实验设计的综合方法。见第9章。
7.5 组间差异的非参数检验
数据无法满足t检验或ANOVA的参数假设，可以转而使用非参数方法。
7.5.1 两组的比较
若两组数据独立，可以使用Wilcoxon秩和检验（更为人知的名字是Mann - Whitney U检验）来评估观测是否是从相同的概率分布中抽得的（即，在一个总体中获得更高得分的概率是否比另一个总体要大）。调用格式为：
wilcox.test(y ~ x, data)
其中的y是数值型变量，x是一个二分变量。调用格式或为：
wilcox.test(y1, y2)
y1和y2为各组的结果变量。可选参数data是包含变量的矩阵或数据框。默认进行一个双侧检验。可以添加参数exact进行精确检验。指定alternative="less"或alternative="greater"进行有方向的检验。
使用Mann - Whitney U检验回答上节关于监禁率的问题，将得到如下结果：
> with(UScrime, by(Prob, So, median))
So: 0[1] 0.038201
So: 1
[1] 0.055552
> wilcox.test(Prob ~ So, data=UScrime)
Wilcoxon rank sum test
data: Prob by So
W = 81, p-value = 8.488e-05
alternative hypothesis: true location shift is not equal to 0
>
Wilcoxon符号秩检验是非独立样本t检验的一种非参数替代方法。适用于两组成对数据和无法保证正态性假设的情境。调用格式与Mann - Whitney U检验完全相同，不过还可以添加参数paired=TRUE。
> sapply(UScrime[c("U1", "U2")], median)
U1 U2
92 34
> with(UScrime, wilcox.test(U1, U2, paired=TRUE))
Wilcoxon signed rank test with continuity correction
data: U1 and U2
V = 1128, p-value = 2.464e-09
alternative hypothesis: true location shift is not equal to 0
Warning message:
In wilcox.test.default(U1, U2, paired = TRUE) :
cannot compute exact p-value with ties
>
本例中，含参的t检验和与其作用相同的非参数检验得到了相同的结论。当t检验和假设合理时，参数检验的功效更强（更容易发现存在的差异）。而非参数检验在假设非常不合理时（如对于等级有序数据）更适用。
7.5.2 多于两组的比较
比较的组数多余两个时，需转寻他法。如果要比较美国四个地区的文盲率，这成为单向设计，可以使用参数或非参数的方法来解决。
如果无法满足ANOVA设计的假设，那么可以使用非参数方法评估组间的差异。如果各组独立，则Kruskal-Wallis检验将是一种实用的方法。如果各组不独立，那么Friedman检验更合适。
Kruskal-Wallis检验的调用格式为：
kruskal.test(y ~ A, data)
其中的y是一个数值型结果变量，A是一个拥有两个或更多水平的分组变量（grouping variable）。（若有两个水平，则与Mann-Whitney U检验等价）而Friedman检验的调用格式为：
friedman.test(y ~ A | B, data)
y是数值型结果变量，A是一个分组变量，B是一个用以认定匹配观测的区组变量（blocking variable）。
利用Kruskal - Wallis检验回答文盲率的问题。
> states <- as.data.frame(cbind(state.region, state.x77))
> head(states)
state.region Population Income Illiteracy Life Exp Murder HS Grad Frost
Alabama 2 3615 3624 2.1 69.05 15.1 41.3 20
Alaska 4 365 6315 1.5 69.31 11.3 66.7 152
Arizona 4 2212 4530 1.8 70.55 7.8 58.1 15
Arkansas 2 2110 3378 1.9 70.66 10.1 39.9 65
California 4 21198 5114 1.1 71.71 10.3 62.6 20
Colorado 4 2541 4884 0.7 72.06 6.8 63.9 166
Area
Alabama 50708
Alaska 566432
Arizona 113417
Arkansas 51945
California 156361
Colorado 103766
> kruskal.test(Illiteracy ~ state.region, data=states)
Kruskal-Wallis rank sum test
data: Illiteracy by state.region
Kruskal-Wallis chi-squared = 22.672, df = 3, p-value = 4.726e-05
>
显著性检验的结果意味这美国四个地区的文盲率各不相同。（p<0.001）
可以拒绝不存在差异的原假设，但并不知道哪些地区显著与其他地区不同。
可以使用Mann - Whitney U检验每次比较两组数据。
npmc包还提供了所需要的非参数多组比较程序。
安装npmc包，包中的npmc( )函数接收的输入为一个两列的数据框，其中一列名为var（因变量），另一列名为class（分组变量）。
代码清单7-20 非参数多组比较
此处npmc包已无法在现有版本的R中应用
> install.packages("npmc")
--- 在此連線階段时请选用CRAN的鏡子 ---
Warning message:
package ‘npmc’ is not available (for R version 3.3.2)
7.6 组间差异的可视化
在7.4和7.5节中，介绍进行组间比较的统计方法。使用视觉直观地检查组间差异，同样是全面的数据分析策略中的一个重要部分。R中提供了许多比较组间数据的图形方法，包括6.5节中的箱线图（简单箱线图、含凹槽的箱线图、小提琴图）、6.4.1节中叠加的核密度图，以及第9章中的评估检验假定的图形方法。
7.7 小结
- R中用于生成统计概要和进行假设检验的函数；
- 样本统计量和频数表、独立性检验和类别型变量的相关度量、定量变量的相关系数（及连带的显著性检验）；
- 两组或更多组定量结果变量的比较