ビッグデータ：Spark環境構築、ローカルモード
2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试
ビッグデータ：Spark環境構築、ローカルモード
ローカルは、クラスターをシミュレートするために多くのスレッドを使用するプロセスです
チームリーダーは人々を管理するだけでなく、単独で作業することもでき、ローカルモードでは役員としても機能します
。
JVM プロセスは 1 つのタスクとタスク
のみを担当します。2番目のプロセスが必要です
スパークスタンドアロンモード
Spark もマスター/スレーブ アーキテクチャです
。ドライバーはマスター プロセスで実行され、
論理空間の概念とは異なることに注意してください。
スタンドアロンは固定クラスターであるため、複数のタスクにさらに多くのドライバーが必要ですが、いずれにしても、部門長がさらに数人のドライバーを割り当てるだけで十分です。
スパークスタンドアロン HA：zookeeper スタンバイ
単一のマスター、何か問題が発生した場合、
複数のマスターが表示された場合は gg、別のボスが病気になった場合は、できるだけ早く会長を変更できます
わかりました。
バックアップ委員長はいつでも待機しています
スパーク: 糸は企業で最も頻繁に使用されます
私たちは元のエンタープライズ Hadoop の糸にスパークを追加するだけです。
これはコンピューティング フレームワークを置き換えるだけです。理解するのは
簡単です。
Yarn の以前の役割はリソースマネージャーでしたが、現在はSpark のマスター
として機能します。
ワーカーの役割は部門の責任者です。nodemanager に直接任せてください
。
ヤーン内で個別にスパークプロセスを行わないでください。
タスクの実行中、ドライバーはまだ単独でチーム リーダーである必要があり、実行者も単独で作業を行う必要があり、それを Yarn コンテナ内で実行するだけで十分です。ここでは、ドライバーは依然としてワーカー プロセス内にあります。いずれ
にせよ
、
糸を直接改良することができ、糸にスパークする能力を与えることができます。
要約する
提示：重要经验：
1)
2) オラクルをよく学びましょう。経済が冷え込んでいるとしても、試験オファー全体は間違いなく問題ありません。同時に、これは公共のインターネット警察をテストする唯一の方法でもあります。
3) 筆記試験で AC を求める場合、空間の複雑さは考慮されないかもしれませんが、面接では最適な時間の複雑さと最適な空間の複雑さの両方を考慮する必要があります。