pyspark 将rdd 存入mysql

简单来说：将rdd存入mysql需要先将rdd转为dataframe，然后将dataframe存入mysql

以下是例子
相关配置不做赘述
首先需要拥有一个rdd ， 我的rdd长这个样子

然后把rdd转成dataframe

from pyspark.sql import Row
emp = rdd.map(lambda p : Row(url=p))
df = spark.createDataFrame(emp)

最后将dataframe存入mysql

url="jdbc:mysql://192.168.14.90:3306/hy88?user=spider&password=111111"
df.write.jdbc(url=url,mode="append",table="com_url",properties={"driver":"com.mysql.jdbc.Driver"})