Spark读取HDFS路径文件

---

一、Spark读取HDFS路径文件

有些时候我们希望直接读取HDFS上的文件进行处理，那么我们可以使用 textFile 这个方法，这个方法可以将指定路径的文件将其读出，然后转化为Spark中的RDD数据类型。

1、函数介绍

textFile 是 Spark 中的一个函数，用于从文本文件中读取数据并创建一个 RDD。它可以用于加载文本数据，并将每行文本作为 RDD 中的一个元素。以下是对 textFile 函数的详细介绍以及它的参数：

def textFile(
    path: String,
    minPartitions