ビッグデータ: 分散リソース スケジューリング フレームワーク YARN、コア アーキテクチャ、マスター/スレーブ構造、補助構造、糸と MapReduce の展開と構成、PI のモンテカルロ法
2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲 最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试
記事ディレクトリ
記事ディレクトリ
ビッグ データ: 分散リソース スケジューリング フレームワーク YARN
Yarn はリソースとスケジューリングを管理し、MapReduce は
スケジューリング プロセスに実装できます。
教室があれば数万人規模の学校を管理でき、スケジュール管理も
簡単
で効率的です。
最高のクラスター
マネージャー
リソースの割り当て、分散コンピューティング、および集約はすべて、糸と割り当てによって監視されます。
糸を申請すると
リソースをスケジュールできますが、
残りの
3 つのコンポーネントは他のコンポーネントが使用するので、基本的には問題ありません。
ストレージ、コンピューティング、リソースのスケジューリング。
Yarn のアーキテクチャ、コア アーキテクチャ、および補助アーキテクチャ
1 つのストレージ、1 つのリソース スケジューリング、
それぞれが独自のもので、
工場と同じで、
総議長リソース マネージャーが担当します。
各工場マネージャー ノードマネージャー
全体の調整は工場長が行い、
残りの工場長はそれぞれ独自の調整を行うことができます。
顧客はリソースマネージャーにリソースを要求するだけで、
コンテナを取得できます。コンテナを
1 つずつ見つけるだけです。ロードしすぎることはできず、ロードできる量は限られています
糸の補助構造
セキュリティ向上の補助
糸の安全性を保証するだけ
歴史、記録は
補助的な作業のように感じる
リソースを隔離し、
統合された方法でログを記録するサーバー
をセットアップするだけで
、
統合された方法でログを収集できます
。
これは補助アーキテクチャです。
マスター/スレーブの役割
補助の役割
MapReduce と糸のデプロイメント
デプロイメントはマスター/スレーブ補助ノードを開始することです
糸上で動作するMapReduceは
プロセスを開始する必要はなく、設定を変更するだけで済みます。
ノード 1 にこれほど多くのメモリを構成する理由は、
多くの処理が必要になるためです。
MapReduce にはさまざまな設定を行うことができ、
yarn もさまざまな環境に合わせて設定する必要があります。リソース マネージャー
とノード マネージャーの
ローカル ログ
、履歴サーバー ポート ログ、プロキシ サーバー
、およびセキュリティを設定します。
Mapred は歴史サーバーSaoの始まりです
hdfs は 9870、ポート
8088 は糸クラスターの監視インターフェースです
init 0 shutdown
MapReduce は別途プロセスを起動する必要はありません。
MapReduce と Yarn の初体験
マスター/スレーブ、セカンダリ
履歴サーバーのプロキシ サーバーを個別に起動する必要がある
MapReduce タスクを Yarn に送信して実行する
Hive は MapReduce を使用します
コードを書く必要はありません。Spark
と Flink はコードを書く必要があります。
パフォーマンスは高速です。jar
はプログラムの実行を意味します。
プログラム コードは jar 内にあります。Java
クラスは、入力
ファイル
と出力結果は wc フォルダーに存在してはなりません
嬉しい結果が
得られました
ジョブ履歴サーバー
記録履歴
マップの数、
サンプルの数、
および円周率の計算
円周率を求めるモンテカルロ アルゴリズム
円周率は正方形全体の面積として計算される比率です。比率を掛けると素晴らしいです
。
半円内の距離が 1 未満の場合は、
半円の中に入る点の数がカウントされます。これが
円周率です。 /4
最後に、簡単に見つかる円周率
要約する
提示：重要经验：
1)
2) オラクルをよく学びましょう。経済が冷え込んでいるとしても、試験オファー全体は間違いなく問題ありません。同時に、これは公共のインターネット警察をテストする唯一の方法でもあります。
3) 筆記試験で AC を求める場合、空間の複雑さは考慮されないかもしれませんが、面接では最適な時間の複雑さと最適な空間の複雑さの両方を考慮する必要があります。