pyspark进行操作mysql

需要进行安装的内容
https://zhuanlan.zhihu.com/p/136777424

from pyspark.sql import SQLContext, SparkSession
if __name__ == '__main__':
    # spark 初始化
    spark = SparkSession. \
        Builder(). \
        appName('sql'). \
        master('local'). \
        getOrCreate()
    # mysql 配置(需要修改)
    prop = {
    
    'user': 'root',
            'password': '186373',}
            # 'driver': 'com.mysql.cj.jdbc.Driver'}
    # database 地址(需要修改)
    url = 'jdbc:mysql://127.0.0.1:3306/yb'
    # 读取表
    data = spark.read.jdbc(url=url, table='ybmx', properties=prop)
    # 打印data数据类型
    print(type(data))
    # 展示数据
    data.show()
    # 关闭spark会话
    spark.stop()