RDD ローカル ファイル システムの読み取りにより、ファイルが存在しないことが示される fileNotExit

質問

RDDを作成するためにローカルファイルシステムからデータを読み込むときに、アクションを実行してファイルが存在しないことを表示する

解決

ローカル ファイル システムから読み取る場合、ファイルはすべてのノードの同じディレクトリに存在する必要があります。たとえば、

file:\\\local\rdd1.txt

ディレクトリにある場合、rdd1.txt の同じコピーがマスター ノード、スレーブ 1 ノード、およびスレーブ 2 ノードの \local ディレクトリに存在する必要があります。