今日が終わる前に:
皆様、新年明けましておめでとうございます!
これらは、私が最近 Spark を学習する際に遭遇した問題と解決策です (Xiaobai に適しています)
1. Hadoop クラスターを開くにはどうすればよいですか?
答え：
Hadoop クラスターを開くには、start-all.sh コマンドを入力してすべてを開くことができます。
また、糸クラスター (リソース管理を担当) を開いてコマンド start-yarn.sh を入力するなど、段階的に開くこともできます。
次に、hdfs クラスター (分散ストレージ システム) を開き、コマンド start-dfs.sh を入力します。
2. pychark ローカル モードを開くにはどうすればよいですか (この場合、クラスターではなくスタンドアロン操作です)。
答え：
/export/server/spark/bin に切り替えます (パスは人によって異なります)
ディレクトリ入力コマンド: ./pyspark
「node1:4040」と入力してWebページを開いて、プログラムの実行ステータスを表示できます。
このコマンドを入力するだけで、デフォルトでスタンドアロン モードが開きます。
pyspark を開きたい場合は、まず Hadoop クラスターを開く必要があります。
3. pychark (Spark クラスターで実行) を開くにはどうすればよいですか?
答え：
pychark を開いてクラスター上で実行する場合は、クラスターのアドレスを入力する必要があります (私が今学習していることなど)。クラスターを開いた後、Web ページ「node1:8080」を開き、上記のアドレスをコピーして次のように入力します。ターミナルのコマンド: ./pyspark --master spar:/ /node1:7077
4. 糸の履歴サーバーを開くにはどうすればよいですか?
答え：
コマンドを入力します: mr-jobhistory-daemon.sh start Historyserver
Spark 履歴サーバーを開きたい場合は、(Spark ディレクトリ内で) コマンド sbin/start-history-server.sh を入力します。
5. Linux クラスターインタープリターを使用して Python コードをリモートで解釈するように SSH を設定するにはどうすればよいですか?
答え：
まず対応するノードとユーザーを接続し、次にユーザーのパスワードを入力します
次に、Linux の Python インタプリタのアドレスを入力すると、アプリケーションの確認が成功します。前提として、pycharm にはプロフェッショナル版が必要です (クラック版も利用可能です)。
6. Spark アプリケーションを提出するにはどうすればよいですか?
答え：
プログラム コードをサーバーにアップロードし、spark-submit クライアント ツールを通じて送信します。
知らせ：
コード内にマスターを設定しないでください。コードに基づいてspark-submit送信ツールを設定した場合、無効になります。
プログラムをクラスターに送信して実行する場合、読み取りファイルは、HDFS へのアップロードなど、各マシンがアクセスできるアドレスである必要があります。Linux ローカル マシン上の場合は、各マシンにこのファイルが必要です。
やっと：
皆様が 2023 年の旧正月を幸せに過ごされることを願っています。新しい年が始まり、私たちは一緒に新しい旅に行きます。大蔵紅の「ウサギ」、お金の「ウサギ」は錦のように、眉毛の「ウサギ」の精神、「ウサギ」の健康を願っています。新年には、お金の「うさぎ」が心配なく、お金の「うさぎ」が錦のように、「うさぎ」が突然お金持ちになり、「うさぎ」が大きく発展し、「うさぎ」に良いことが起こりますように。
さて、今日の共有はここまでです。不明な点や間違ったことを書いた場合は、アドバイスをお願いします。
プライベートメッセージ、コメントしてください！！！！！！