需求描述:学生成绩分析
背景:
我们有一组学生的成绩数据,其中包括学生的姓名、性别和科目,我们需要分析不同性别和不同科目的学生平均分数。
功能要求:
- 从数据源中获取学生的成绩数据,包括学生姓名、性别和科目。
- 使用Spark进行数据处理,将学生数据按性别和科目分组。
- 计算每个不同性别和不同科目组合的学生的平均分数,并保留两位小数。
- 将计算得到的平均分数与性别和科目信息一起输出。
- 结果应以易于理解的方式呈现,包括性别、科目和平均分数。
- 执行完计算后,关闭Spark上下文。
输入:
- 学生的成绩数据集,包括学生姓名、性别和科目。
输出:
- 对每个不同性别和不同科目组合的平均分数的清晰可读的列表。
package com.bigdata;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;
import scala.Tuple3;
import java.text.DecimalFormat;
import java.util.Arrays;
public class StudentScoreAnalysis {
public static void main(String[] args) {
// 创建Spark配置
SparkCon