ビッグデータの需要はますます高まっており、テクノロジーさえあれば仕事を見つける心配はありません。
ビッグデータ エンジニアの技術要件は次のとおりです。
1. Oracle、Teradata、DB2、Mysql などのデータベース開発テクノロジーを少なくとも 1 つマスターし、SQL を柔軟に使用して大量データの ETL 処理を実現します。
2. Linux システムの通常のシェル処理コマンドに精通しており、シェルによって実行されるテキスト処理とシステム操作を柔軟に使用できます。
3. 分散データ ストレージおよびコンピューティング プラットフォーム アプリケーション開発の経験、Hadoop のエコ関連テクノロジおよび関連する実践経験に精通しており、HDfs、Mapreduce、Hive、および Hbase に重点を置いていることが望ましい。
4. 1 つ以上のプログラミング言語の熟練度、および Java、Python、Perl を中心とした大規模プロジェクト構築の経験が望ましい。
5. データ ウェアハウスの分野の知識とスキルに精通している人が好ましい。これには、メタデータ管理、データ開発とテストのツールと方法、データ品質、マスター データ管理が含まれますが、これらに限定されません。
6. リアルタイム ストリーム コンピューティング テクノロジーをマスターし、ストーム開発の経験があることが望ましい。
データ エンジニアは全体像を見て開発することを目指しています。データ エンジニアは、データを効率的に処理できるように自動化システムを構築し、データ構造をモデル化します。データ エンジニアの目標は、分析ダッシュボードやその他のデータ顧客 (データ サイエンティスト、アナリスト、その他のエンジニアなど) をサポートするテーブルとデータ パイプラインを作成および開発することです。ほとんどのエンジニアと同様に、ある種の究極的に堅牢なシステムを作成するには、多くの設計、仮定、制約、開発が必要です。このシステムは、データ ウェアハウスと ETL、またはストリーミング パイプラインである可能性があります。
リエピンビッグデータ研究所は「2022年将来人材雇用動向レポート」を発表
2022年1月から4月までの各業界の中高級人材の平均年収ランキングから判断すると、人工知能業界の中高級人材の平均年収が最も高く、 310,400元、金融業界の中高級人材の平均年収は276,900元、2番目、通信・ビッグデータ業界の中高級人材の平均年収は275,100元、 25万2,300元で3位と4位、IT・インターネット業界の中高級人材の平均年収は23万200元で7位となっている。
グラフ出典：「2022年 将来人材雇用動向レポート」
気分が高ぶったら、このように平均化されてしまうのですか？次に、Boss の直接雇用を開き、ビッグデータ エンジニアを検索します。
データ分析をしましょう。
給与の欄には最低給与と最高給与があり、さまざまな都市を比較分析したところ、北京が最も給与レベルが高く、最低は22,000、最高は38,000であることがわかりました。
勤続年数も給与水準を制限する大きな要因であり、この図から、新卒であっても11,000〜20,000の給与範囲に達することができることがわかります。
学歴としては学部が最も多く、次に短大、修士が続き、その他は図には表れていないほど少ない。
企業の各ポジションの要件は3年から5年が多く、もちろん一定の実務経験を必要としますが、実際の採用においてはプロジェクト経験があり、理論的知識に問題がなければ、企業は条件を緩和します。
さまざまな業界を分析したところ、ビッグデータ関連の仕事への需要は、主にコンピュータ ソフトウェアとインターネットの分野であらゆる分野に分布しており、この採用ソフトウェアによっても決定される可能性があることがわかりました。インターネット業界。
ビッグデータ関連のポジションを募集している企業を見てみましょう ファーウェイ、テンセント、アリ、バイトの15社以上の企業の数から判断すると、これらの大手企業は依然としてこのポジションに対する需要が大きいことがわかります。
では、これらの仕事にはどのようなスキルが必要なのでしょうか? Spark、Hadoop、データ ウェアハウス、Python、SQL、Mapreduce、Hbase など。
国内の開発状況によると、ビッグデータの将来の開発見通しは非常に良好です。2018 年に企業がデジタル変革を開始して以来、一級都市および二級都市におけるビッグデータ分野の人材需要は非常に高く、今後数年間で三級都市および四級都市における人材需要はさらに高まるでしょう。も大幅に増加します。
ビッグデータ分野は国内の整備が比較的遅れており、2016年以降ビッグデータ関連の専攻を開設した大学は200校余りにとどまっており、2020年卒業生の第1期生が社会に出たばかりであり、ニーズが急務となっている。ビッグデータの人材を求めていますが、人材が不足しているため、将来的にはビッグデータの分野で多くの雇用の機会が生まれるでしょう。
高い給与と大きなギャップは、職場の専門家にとって当然のことながら「給与」の選択になります。
どのような学習プロセスでも、学習目標を順序立てて完了するには、科学的で合理的な学習ルートが必要です。Python + ビッグデータの学習に必要な内容は複雑で難しいため、思考を明確にして困難を克服できるよう、包括的な Python + ビッグデータ学習ロードマップを作成しました。
ビッグデータの学習ルートとリソース:
入門: Linux 入門 → MySQL データベース
コア基盤: Hadoop
データ ウェアハウス テクノロジ: Hive データ ウェアハウス プロジェクト
PB メモリ コンピューティング: Python 入門 → 高度な Python → pyspark フレームワーク → Hive+Spark プロジェクト
Python + ビッグデータ学習ロードマップの詳細な紹介
フェーズ 1 でビッグ データ開発を始める
学習前ガイド: 従来のリレーショナル データベース、マスター データ移行ツール、BI データ視覚化ツール、SQL から始めて、その後の学習のための強固な基盤を築きます。
1. ビッグデータ データ開発基盤 MySQL8.0 入門から習熟まで
MySQL は IT 基礎コースのすべてであり、SQL は IT 生活のすべてを駆け巡ります。よく言われるように、SQL がうまく書ければ、簡単に仕事を見つけることができます。MySQL8.0をゼロから上級レベルまで徹底解説するコースで、このコースを受講すれば基礎的な開発に必要なSQLレベルが身に付きます。
2022年最新MySQL知識集中講義+mysql実践事例_ゼロベースのmysqlデータベース入門から上級までのチュートリアル一式
第2段階のビッグデータの中核基盤
事前学習ガイド: Linux、Hadoop、Hive を学び、ビッグデータの基礎技術をマスターします。
2022 年ビッグ データ Hadoop 入門チュートリアル
Hadoop オフラインは、ビッグ データ エコシステムの中核および基礎であり、ビッグ データ開発全体への入門であり、後の Spark および Flink の強固な基盤を築くコースです。コースの 3 つの部分 (Linux、Hadoop、Hive) を習得すると、データ ウェアハウスに基づいたオフライン データ分析のためのビジュアル レポートの開発を独自に実現できるようになります。
2022年最新ビッグデータHadoop入門ビデオチュートリアル、ゼロベースの独学に最適なビッグデータHadoopチュートリアル
数千億のデータ ウェアハウス テクノロジーの第 3 段階
事前学習ガイド: この段階のコースは実際のプロジェクトによって推進され、オフライン データ ウェアハウス テクノロジを学習します。
データ オフライン データ ウェアハウス、エンタープライズ レベルのオンライン教育プロジェクトの実践 (Hive データ ウェアハウス プロジェクトの完全なプロセス)
このコースは、グループ データ ウェアハウスを構築し、グループ データ センターを統合し、散在するビジネス データの保管と処理を一元化することを目的としています。需要調査、設計、バージョン管理、研究開発、テスト、立ち上げまで、プロジェクトの全プロセスをカバーし、膨大なユーザー行動データの発掘と分析、多次元データセットのカスタマイズ、さまざまなシーンのテーマで使用するためのデータマートの形成を行います。 。
第4段階のPBメモリコンピューティング
事前学習ガイド: Spark は、ホームページの最初の言語として Python を正式に採用しました。バージョン 3.2 の更新では、組み込みのバンドルされた Pandas、Spark コンテンツが強調表示されます。
1. Python入門から習得まで（19日間）
環境構築からPythonの基礎学習コース。判決文、次に基本的なデータ型、次に関数を学習して習得し、ファイル操作に慣れ、最初にオブジェクト指向プログラミングのアイデアを構築し、最後にケースを使って学生を Python プログラミングの宮殿に導きます。
Python チュートリアルのフルセット_Python の基礎ビデオ チュートリアル、基礎ゼロの初心者向けの Python の独習に必須のチュートリアル
2. ゼロからWebサイト構築まで進化したPythonプログラミング
このコースを完了すると、高度な Python 構文、マルチタスク プログラミング、およびネットワーク プログラミングをマスターできるようになります。
3.spark3.2 基礎から上級まで
Spark はビッグ データ システムの主力製品であり、大量のデータを処理できる高性能の分散メモリ反復コンピューティング フレームワークです。このコースはPython言語学習Spark3.2をベースに開発されており、初心者でもすぐにマスターできるよう、理論と実践の融合を中心に効率よく、早く、分かりやすく解説しています。経験豊富なエンジニアも何かを得ることができます。
Spark ビデオ チュートリアルのフル セット、基礎から熟練者までのビッグ データ Spark3.2、ネットワーク全体の Python 言語に基づく最初の Spark チュートリアル セット
4.ビッグデータHive+Sparkオフラインデータウェアハウス産業プロジェクトの実戦
ビッグ データ テクノロジ アーキテクチャを通じて、産業用モノのインターネット製造業界におけるデータの保存と分析、視覚化、およびパーソナライズされた推奨事項の問題を解決します。ワンストップ製造プロジェクトは主に、さまざまなビジネス指標のデータを保存する Hive データ ウェアハウス レイヤーに基づいており、データ分析には SparkSQL に基づいています。中核的なビジネスには、オペレーター、コールセンター、作業指示書、ガソリン スタンド、資材の倉庫が含まれます。
ネットワーク全体がビッグデータSparkオフラインデータウェアハウス産業プロジェクトの実戦を初めて公開し、Hive+Sparkがエンタープライズレベルのビッグデータプラットフォームを構築