文章目录
一、Spark读取本地文件
有些时候我们希望直接读取本地文件进行处理,那么我们可以使用 textFile
这个方法,这个方法可以将指定路径的文件将其读出,然后转化为Spark中的RDD数据类型。
但是这里注意一点就是何为本地,如果你的代码运行在windows中,那么你的本地路径就是C盘,D盘,如果你是在Linux中运行代码的话,那本地就是Linux中的路径 /home/data
,如果希望读取HDFS路径,也可以只不过需要配置URL参数。
1、函数介绍
textFile
是 Spark 中的一个函数,用于从文本文件中读取数据并创建一个 RDD。它可以用于加载文本数据,并将每行文本作为 RDD 中的一个元素。以下是对 textFile
函数的详细介绍以及它的参数:
def textFile