pyspark dataframe 多列数据当我们想存储为text格式的时候:
df.coalesce(1).write.format("text").option("header", "false").mode("append").save("<path>")
我们发现报错:
pyspark.sql.utils.AnalysisException: 'Text data source supports only a single column,
解决办法就是将多列拼接为一列string字符串
dataFrameWithOnlyOneColumn = dataFrame.select(concat(*dataFrame.columns).alias('data'))
dataFrameWithOnlyOneColumn.coalesce(1).write.format("text").option("header", "false").mode("append").save("<path>")