1。JDBC
スパークSQLは、一連の計算DATAFRAMEを通じて、リレーショナルデータベースJDBCからデータを読み取る方法でデータフレームを作成することができ、また、書き込みデータは、リレーショナルデータベースにバックアップすることができます。
1.1。MySQLのからSparkSql負荷データ
1.1.1 SparkSqlはIDEAによって、コードを書きます
ビューの実行効果：
スパーク・シェルによって1.1.2実行
（1）、スパーク・シェルを開始する（MySQLの接続は、ドライバパッケージを指定しなければなりません）
spark-shell \
--master spark://hdp-node-01:7077 \
--executor-memory 1g \
--total-executor-cores 2 \
--jars /opt/bigdata/hive/lib/mysql-connector-java-5.1.35.jar \
--driver-class-path /opt/bigdata/hive/lib/mysql-connector-java-5.1.35.jar
（2）のMySQLからデータをロードします
val mysqlDF = spark.read.format("jdbc").options(Map("url" -> "jdbc:mysql://192.168.200.150:3306/spark", "driver" -> "com.mysql.jdbc.Driver", "dbtable" -> "iplocation", "user" -> "root", "password" -> "123456")).load()
（3）、クエリ実行
1.2。IDEAでのMySQL 1.2.1 SparkSqlコードに書かれたSparkSql書き込みデータ
（1）書き込みコード
包装さ達人（2）
ツールは、IDEAで包装することができます
スパーククラスタに提出（3）ジャーパッケージ
spark-submit \
--class itcast.sql.SparkSqlToMysql \
--master spark://hdp-node-01:7077 \
--executor-memory 1g \
--total-executor-cores 2 \
--jars /opt/bigdata/hive/lib/mysql-connector-java-5.1.35.jar \
--driver-class-path /opt/bigdata/hive/lib/mysql-connector-java-5.1.35.jar \
/root/original-spark-2.0.2.jar /person.txt
MySQLで（4）の表示データテーブル