spark udap 使用2

1. package com.dt.spark
   • 1
2. • 1
3. import org.apache.spark.sql.expressions.{MutableAggregationBuffer, UserDefinedAggregateFunction}
   • 1
4. import org.apache.spark.sql.types._
   • 1
5. import org.apache.spark.sql.{Row, SQLContext}
   • 1
6. import org.apache.spark.{SparkConf, SparkContext}
   • 1
7. • 1
8. object SparkSQLUDFUDAF {
   • 1
9. def main(args: Array[String]) {
   • 1
10. System.setProperty("hadoop.home.dir", "G:/datarguru spark/tool/hadoop-2.6.0");
    • 1
11. val conf = new SparkConf()
    • 1
12. conf.setAppName("SparkSQLUDFUDAF")
    • 1
13. conf.setMaster("local")
    • 1
14. val sc = new SparkContext(conf)
    • 1
15. val sqlContext = new SQLContext(sc)
    • 1
16. • 1
17. //模拟实际使用数据
    • 1
18. val bigData = Array("Spark", "Spark", "Hadoop", "Spark", "Hadoop", "Spark", "Spark", "Hadoop", "Spark", "Hadoop")
    • 1
19. • 1
20. //基于提供的数据创建DataFrame
    • 1
21. val bigDataRDD = sc.parallelize(bigData)
    • 1
22. val bigDataRow = bigDataRDD.map(item => Row(item))
    • 1
23. val structType = StructType(Array(StructField("word", StringType, true)))
    • 1
24. val bigDataDF = sqlContext.createDataFrame(bigDataRow, structType)
    • 1
25. bigDataDF.registerTempTable("bigDataTable") //注册成为临时表
    • 1
26. • 1
27. //通过SQLContext注册UDF，在Scala 2.10.x版本UDF函数最多可以接受22个输入参数
    • 1
28. sqlContext.udf.register("computeLength", (input: String) => input.length)
    • 1
29. • 1
30. //直接在SQL语句中使用UDF，就像使用SQL自动的内部函数一样
    • 1
31. sqlContext.sql("select word, computeLength(word) as length from bigDataTable").show()
    • 1
32. • 1
33. sqlContext.udf.register("wordCount", new MyUDAF)
    • 1
34. sqlContext.sql("select word,wordCount(word) as count,computeLength(word) " +
    • 1
35. "as length from bigDataTable group by word").show()
    • 1
36. while(true){}
    • 1
37. • 1
38. }
    • 1
39. • 1
40. }
    • 1
41. • 1
42. class MyUDAF extends UserDefinedAggregateFunction{ //ctrl+I实现复写方法
    • 1
43. /**
    • 1
44. * 该方法指定具体输入数据的类型
    • 1
45. * @return
    • 1
46. */
    • 1
47. override def inputSchema: StructType = StructType(Array(StructField("input", StringType, true)))
    • 1
48. • 1
49. /**
    • 1
50. * 在进行聚合操作的时候要处理的数据的结果的类型
    • 1
51. * @return
    • 1
52. */
    • 1
53. override def bufferSchema: StructType = StructType(Array(StructField("count", IntegerType, true)))
    • 1
54. • 1
55. /**
    • 1
56. * 指定UDAF函数计算后返回的结果类型
    • 1
57. * @return
    • 1
58. */
    • 1
59. override def dataType: DataType = IntegerType
    • 1
60. • 1
61. override def deterministic: Boolean = true
    • 1
62. • 1
63. /**
    • 1
64. * 在Aggregate之前每组数据的初始化结果
    • 1
65. * @param buffer
    • 1
66. * @param input
    • 1
67. */
    • 1
68. override def initialize(buffer: MutableAggregationBuffer): Unit = {buffer(0)=0}
    • 1
69. • 1
70. /**
    • 1
71. * 在进行聚合的时候有新的值进来，对分组后的聚合如何进行计算
    • 1
72. * 本地的聚合操作，相当于Hadoop MapReduce模型中的Combiner(这里的Row跟DataFrame的Row无关)
    • 1
73. * @param buffer
    • 1
74. * @param input
    • 1
75. */
    • 1
76. override def update(buffer: MutableAggregationBuffer, input: Row): Unit = {
    • 1
77. buffer(0) = buffer.getAs[Int](0) + 1
    • 1
78. }
    • 1
79. • 1
80. /**
    • 1
81. * 最后在分布式节点进行Local Reduce完成后需要进行全局级别的Merge操作
    • 1
82. * @param buffer1
    • 1
83. * @param buffer2
    • 1
84. */
    • 1
85. override def merge(buffer1: MutableAggregationBuffer, buffer2: Row): Unit = {
    • 1
86. buffer1(0) = buffer1.getAs[Int](0) + buffer2.getAs[Int](0)
    • 1
87. }
    • 1
88. • 1
89. /**
    • 1
90. * 返回UDAF最后的计算结果
    • 1
91. * @param buffer
    • 1
92. * @return
    • 1
93. */
    • 1
94. override def evaluate(buffer: Row): Any = buffer.getAs[Int](0)
    • 1
95. }