Spark lee datos de hbase (método newAPIHadoopRDD)

Hay muchas formas de leer datos de hbase con spark. Hoy, implementé una demostración simple usando el método incorporado de Spark newAPIHadoopRDD. El código es muy simple y no se agregan comentarios.

Para escribir con chispa en hbase, puede ver los dos artículos anteriores  https://blog.csdn.net/xianpanjia4616/article/details/85301998 , https://blog.csdn.net/xianpanjia4616/article/details/80738961

package hbase

import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.util.Bytes
import org.apache.log4j.{Level, Logger}
import util.PropertiesScalaUtils
import org.apache.spark.sql.SparkSession

/**
  * spark读取hbase的数据
  */
object ReadHbase {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
    Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN)
    Logger.getLogger("org.eclipse

Supongo que te gusta

Origin blog.csdn.net/xianpanjia4616/article/details/89157616
Recomendado
Clasificación