一、提出任务
- 已知有以下用户访问历史数据，第一列为用户访问网站的日期，第二列为用户名：
2022-01-01,mike
2022-01-01,alice
2022-01-01,brown
2022-01-02,mike
2022-01-02,alice
2022-01-02,green
2022-01-03,alice
2022-01-03,smith
2022-01-03,brian
|
|
|
|
| 2022-01-01 |
mike |
alice |
brown |
| 2022-01-02 |
mike |
alice |
green |
| 2022-01-03 |
alice |
smith |
brian |
- 现需要根据上述数据统计每日新增的用户数量，期望统计结果：
2022-01-01,3
2022-01-02,1
2022-01-03,2
- 即2022-01-01新增了3个用户（分别为mike、alice、brown），2022-01-02新增了1个用户（green），2022-01-03新增了两个用户（分别为smith、brian）。
二、实现思路
- 使用倒排索引法，若将用户名看作关键词，访问日期看作文档ID，则用户名与访问日期的映射关系如下图所示。
|
2022-01-01 |
2022-01-02 |
2022-01-3 |
| mike |
√ |
√ |
|
| alice |
√ |
√ |
√ |
| brown |
√ |
|
|
| green |
|
√ |
|
| smith |
|
|
√ |
| brian |
|
|
√ |
- 若同一个用户对应多个访问日期，则最小的日期为该用户的注册日期，即新增日期，其他日期为重复访问日期，不应统计在内。因此每个用户应该只计算用户访问的最小日期即可。如下图所示，将每个用户访问的最小日期都移到第一列，第一列为有效数据，只统计第一列中每个日期的出现次数，即为对应日期的新增用户数。
|
列一 |
列二 |
列三 |
| mike |
2022-01-01 |
2022-01-02 |
|
| alice |
2022-01-01 |
2022-01-02 |
2022-01-03 |
| brown |
2022-01-01 |
|
|
| green |
2022-01-02 |
|
|
| smith |
2022-01-03 |
|
|
| brian |
2022-01-03 |
|
|
- 预备工作：启动集群的HDFS与Spark
- 在HDFS上准备数据 -
users.txt
三、完成任务
（一）读取文件，得到RDD
- 执行命令：
val rdd1 = sc.textFile("hdfs://master:9000/input/users.txt")
（二）倒排，互换RDD中元组的元素顺序
val rdd2 = rdd1.map(
line => {
val fields = line.split(",")
(fields(1), fields(0))
}
)
- 执行上述语句
（三）倒排后的RDD按键分组
- 执行命令：
val rdd3 = rdd2.groupByKey()
（四）取分组后的日期集合最小值，计数为1
- 执行命令：
val rdd4 = rdd3.map(line => (line._2.min, 1))
（五）按键计数，得到每日新增用户数
- 执行命令：
val result = rdd4.countByKey()
- 执行命令：
result.keys.foreach(key => println(key + "," + result(key)))
（六）让输出结果按日期升序
- 映射不能直接排序，只能让键集转成列表之后先排序，再遍历键集输出映射
- 执行命令：
val keys = result.keys.toList.sorted，让键集升序排列
四、课后作业
- 创建Maven项目 -
CountNewUsers，完成每日新增用户统计任务