java零碎点

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/girlgolden/article/details/81588028
  • Gson: Java对象和Json之间的互转,一般用的比较多的两个类库是Jackson和Gson。Gson.fromJson &Gson.toJson。
  • forEachRemainning: 迭代器循环处理。
  • Spark: mapWithState(StateSpec.function())

MapWithState:用于全局统计key的状态,流入的新数据(key-value)结合历史状态(通过key从内存中获取的历史状态)进行一些自定义逻辑的更新等操作;若没有新数据流入,则不会返回之前的key的状态;即,没有数据输入,则不会返回那些没有变化的key的数据。如此,如果开启了checkpoint机制,checkpoint占用的内存就会大大降低。

UpdateStateByKey:统计全局的key的状态,在每一个批次的时候返回之前的key的状态即使没有新流入的数据。所以checkpoint占用很大内存。

  • try{}catch(Exception e){e.printStackTrace();}   在命令行打印异常信息在程序中出错的位置及原因

猜你喜欢

转载自blog.csdn.net/girlgolden/article/details/81588028