リアルビッグデータ履歴書テンプレート (1) [ビッグデータ - 4 年の経験] オンライン教育

XX
27 歳 | 男性 | 統一入学学部生 | 経験 4 年 | CET4、CET6
モバイル:
メール:
個人的な利点:
1. 多くのプロジェクトを行っており、新しいプロジェクトにすぐに着手できる
2. テクノロジーが大好きで、真剣に、厳しく取り組み、比較的学習能力と責任感が強い。プレッシャーに強く、自発的で、コミュニケーションとチームワークが得意
3. Java に関する確かな知識があり、Java および Scala 言語プログラミングに熟練している
4. Spark とそのコンポーネント SparkCore、Spark SQL、SparkStreaming の使用をマスターする
5. Hadoop をマスターする分散ファイル システムとそのコンポーネント HDFS、MapReduce、Yarn の使用。Hadoop クラスターの構築に精通している
6. Kafka の原理をマスターし、Spark および Flink と統合してストリーミング データの処理と分析を実現できる
7. Hbase、Redis およびその他の NoSQL データベースをマスターする
8. の動作原理をマスターするHive、データ ウェアハウスの構築、HQL の使用 データ主体の抽出、多次元分析、チューニングを完了9 .
Linux オペレーティング システムをマスターし、シェル スクリプトを作成できる 10
. MySQL データベースの使用とチューニングをマスター 11 .使い方に精通している
Kettle、Sqoop、Impala、Azkaban などのビッグ データ補助ツールの理解 12.
Flink の基本原理に精通しており、Flink を使用してリアルタイムでデータを処理できる
13. 機械学習アルゴリズム ライブラリ SparkMLlib および機械学習の関連アルゴリズムを理解する
14 . Python の基礎と Python の基本的な使い方を理解する
予定職種：
フルタイムのビッグデータ開発エンジニア 北京給与応相談
職歴：
部署名：
役職：ビッグデータ開発エンジニア
勤務時間：2017年11月～2019年10月
職務内容：主にオフライン統計、リアル統計などのビッグデータ開発に従事。時間計算
ユニット名:
役職: ビッグデータ開発エンジニア
勤務期間: 2015年10月～2017年10月
仕事内容: オフライン統計やリアルタイム計算などのビッグデータ開発に主に従事
プロジェクト経験
プロジェクト1: オンライン教育ユーザーポートレートプラットフォーム
プロジェクトアーキテクチャ: SpringBoot + Vue + Flume + Hadoop + Hive + Spark + Hbase + Phoenix + Azkaban
プロジェクト概要:
インターネットサービスビジネスの活発な発展に伴い、教育の情報化はますます注目を集めています。学習者は、膨大で複雑なオンライン教育リソースに直面すると途方に暮れます。このプロジェクトは主に、クリックされたコンテンツカテゴリ、購入されたコンテンツカテゴリ、特定のページの滞在時間、授業を聞いた後の授業（教師）の評価の観点からユーザーポートレートモデルを構築することを目的としています。ユーザーがオンライン教育 Web サイトにアクセスします。ビッグデータプラットフォームの収集・分析をもとに、ユーザーカテゴリー、注文内容、行動特性、ビジネスシナリオなど様々な側面からデータラベル構成を行い、モデル間やアプリケーションシナリオ間でのデータ共有を実現 洗練された運用と的確なマーケティングサービス。
責任の説明:
プロジェクトの予備的なアーキテクチャ設計と分析に参加する
分離を実現するために Hive のデータを Hbase にインポートする
MySQL のデータ ソース情報をクエリすることで、さらに Hbase のデータを取得し、Spark を使用して、性別、民族、出身地、所属政党、職業、タグ ルールに従って部分一致タグの開発を完了します。教育レベル、雇用状況など
完了 コース購入数、コースの視聴頻度、コース購入頻度、消費頻度、消費サイクルなどの統計ラベルの作成など。 SparkMLlib を使用して
完了ビジネスルールに従ったいくつかのマイニングラベルの開発。RFM モデル、RFE モデル、PSM モデルなど、KMenas アルゴリズムを通じて、さまざまなユーザーの消費能力、アクティビティ、価格に敏感なポートレートを完成させる プロジェクト 2: オフラインでのオンライン教育 + リアルタイム データ ウェアハウス プロジェクト ソフトウェア アーキテクチャ: Nginx +
Flume
+ Hadoop + Kafka + Spark + Flink + Hbase + Redis + Superset + Azkaban
プロジェクトの説明:
教育は常にデータと密接に関係してきました。教育、学習、研究の複数のレベルにまたがるデータの統合と、ビッグ データ テクノロジの効果的な使用を通じて、 、それは根本的に教育を全面的に改善することができます。そのためには、日々の業務処理で収集されるさまざまなデータを商品価値のある情報に変換する技術が必要ですが、従来のデータベースシステムではそれを担うことができませんでした。このプロジェクトは主にオフライン データ ウェアハウス + リアルタイム データ ウェアハウスを構築し、ディメンション テーブルを Redis に配置し、Spark + Flink + Hbase ビッグ データ テクノロジーを通じてオフライン ビジネス データとリアルタイム データ統計と大画面表示を完成させます。ビッグデータの包括的な分析と組み合わせることで、入学計画と指導計画を最適化し、学生の学習効率を向上させ、キャリア計画に沿ってパーソナライズされた学習サービスを提供できます。同時に、管理者がより適切な意思決定を行えるよう、データサポートとデータに基づいた意思決定情報を管理者に提供することもできます。
責任の説明:
プロジェクトの予備的な構造設計と分析に参加し、運営とウェブサイトの主要業績評価指標を取得します。
Kettle を使用して MySQL で注文データを抽出し、基本的なデータの前処理を完了し、それを変換して
Hive Analyze 統計にロードします。これには、コース タイプ、コースの売上高、コースの売上高、地域分布、教師のランキングなどの統計指標が含まれます。Sqoop を使用して、Hbase データベースにデータをエクスポートします。
 Canal サーバーを使用して、MySQL Binlog ログをリアルタイムで監視し、それらをメッセージ キュー Kafka に入れます。
 Flink を使用して、Kafka でメッセージを消費し、リアルタイム ETL 処理を完了し、次のようなユーザー アクセス インジケータを計算します。 PV、UV、訪問者のページ滞在時間、平均訪問頻度、深度、継続時間、直帰率などの指標として結果データをHbaseに保存 プロジェクト3：電子商取引プラットフォームのオフラインデータウェアハウスプロジェクト + BI表示ソフトウェアアーキテクチャ
：
Nginx + Flume + Kettle + Hadoop + Hive + Spark + MySQL + Kylin + Superset
プロジェクトの説明:
テクノロジーの急速な発展に伴い、インターネット企業は長年のデータ蓄積を経て、大量​​のオリジナル データとさまざまなビジネス データを保存しているため、データ ウェアハウス テクノロジー現在、開発と投資に注力する必要がある技術分野の大手企業です。データ ウェアハウスは、企業のすべての意思決定プロセスをサポートするシステム データの戦略的な収集を提供する、分析指向の統合データ環境です。データ ウェアハウス内のデータの分析を通じて、企業がビジネス プロセスを改善し、コストを管理し、製品の品質を向上させるのに役立ちます。このプロジェクトは、主にさまざまな生データを分析し、その結果を集計し、最終的にそれらを表示して、意思決定者と企業の方向性をデータでサポートします。
1. Kettle を使用して MySQL のデータを ETL し、Hive にロードします。
2. Flume を使用して Nginx ログを収集し、HDFS にシンクします。
3. Spark と Hive をベースにした Hive + SparkSQL データ ウェアハウスを構築
4. Spark を使用してデータ ウェアハウス内のデータ拡張、インデックス計算、集計などを処理
5. 分析されたデータを Kettle 経由で MySQL にインポート
6. MySQL データをインポートスーパーセットの内容はスーパーセットを通じて表示されるため、管理者が確認して意思決定を行うのに便利です
責任の簡単な説明:
プロジェクト全体の構造とビジネス設計の分析に参加します
データ ウェアハウスの構築に参加します
分析の処理を担当しますアクティブ ユーザー統計、支払い傾向の統計、調達プロセスの変換、新規ユーザーの維持など、オフライン データの指標の統計 
データを視覚的に表示するために Apache の BI ツール Superset を使用できるように BI エンジニアを支援する
プロジェクト 4 :
石炭産業向けビッグデータ分析レポートソフトウェア アーキテクチャ: Hadoop + Hive + Sqoop + SSM + MySQL + Azkaban
プロジェクトの説明:
このプロジェクトは主に石炭産業データの包括的な分析を目的としており、データはさまざまな業界から取得されており、データ形式は次のとおりです。同社の事業内容は、石炭電力消費量や化学工業、不動産、鉄鋼、送電網などの消費情報の分析など、業界データから貴重な情報を抽出・分析し、業界分析レポートを提供することである。他の産業、国の石炭生産と消費、発電所データ、石炭輸出入データ、石炭価格、主原料炭、一般炭輸送量、価格など、さまざまな産業のデータはETL作業後に特定の指標次元で分析されます。 Hive 内のデータを Sqoop 経由で業務用 MySQL にエクスポートし、JavaEE 関連技術を利用してレポート表示を実現します。
技術説明:
1. ビッグデータプラットフォームのインフラとしてHadoopを利用
2. HDFS を使用して会社が収集した大量の業界データを保存
3. MapReduce を使用してさまざまなデータ ソースを前処理
4. Hive を使用してデータ ウェアハウスを構築し、HQL を使用して指標を計算 5. Sqoop を
使用して Hive からデータをエクスポート6.
SSM フレームワークを使用してデータ視覚化プラットフォームを構築する
責任の説明:
 ビジネス担当者が収集したデータを前処理する MapReduce プログラムを作成する
 クリーンアップされたデータを HDFS にアップロードする
 インデックス計算に Hive を使用する
 データ視覚化開発
プロジェクトに参加する 5: E コマース ログ分析システム
ソフトウェア アーキテクチャ: Hadoop + Flume + Hive + Sqoop + Mysql + Echarts + Azkaban
プロジェクトの説明:
分散型 Hadoop クラスターを通じて Web サイトによって生成された大量のログを処理し、有用なデータ情報をマイニングします。ウェブログにはウェブサイトの最も重要な情報が含まれており、ログを分析することで、ウェブサイトへのアクセス数、どのページに最も多くの訪問者がいるか、どのページが最も価値があるかなどを知ることができます。次に、サイトのトラフィックPV、訪問者数UV（新規訪問者数、新規訪問者の割合を含む）、訪問IP数、直帰率、平均訪問時間/訪問ページ数、主要ユーザーなどの情報を分析します。このプロジェクトの主な目的は、収集されたユーザー行動情報をデータ ウェアハウスで処理し、MySQL に実装し、最終的にさまざまな指標のデータ クエリのサポートを提供し、企業の意思決定の基礎を提供することです。
技術的な説明:
1. Flume を使用してログ データを収集し、元のデータを HDFS に保存します
。 2. 指定されたビジネス向けに MapReduce を作成してログ データをクリーンアップします。
3. データを構造化された Hive テーブルに変換し、Hive 外部テーブルとカスタム UDF 関数を使用してデータをオフラインで分析します 4. Sqoop を使用して、Hive によって分析および処理されたデータを MySQL
にインポートします
5. データの表示には、次を使用しますデータはページに表示されます
責任内容:
プロジェクトの予備分析に参加し、システム全体のアーキテクチャを設計します 
ウェブサイトの PV、UV、コンバージョン率、その他の指標などの基本的なユーザー情報分析モジュールのコーディングを担当します
Flume を使用したログ情報の収集を担当します。