導入
2022年に学校採用で京東に入社後、データセンターのテスト部門でテスト開発に従事。卒業後、最も多く書かれる文書はテスト計画書とテストレポートであり、コーディングの成長を振り返って要約する機会はほとんどありません。 「アップテクニシャン」コラムを通して、仕事後にようやく振り返り、この2年間を簡単にまとめてみました。
この記事は、ビッグ データ テストの初心者が初めて職場に入った後の成長をまとめたもので、仕事に就いた初心者の混乱も含まれており、蓄積された経験についても説明されています。この記事が、混乱している初心者やビッグデータのテストに興味のある学生に役立つことを願っています。
1. 初めての職場、戸惑う岐路に立たされる
私の学部と修士号は両方ともコンピューターサイエンスとテクノロジーでした。私は短期間のインターンシップ経験もありましたが、知識はほとんどありませんでした。ビッグデータについて。リーダーは私にこう言っただけです。「最初は普通ではないでしょう。学校ではおそらくこのようなことにさらされることはありません。少しずつ始めます。大丈夫です。ゆっくりしてください。」
初めて仕事に触れたときは「理解できない」としか言いようがありません。
ビッグデータの分野には、「クラスター」、「キュー」、「RSS」、「NN」、「DN」、「NS」など、固有名詞や英語の略語がたくさんあります。これらの聞き慣れない概念に直面して、私は本当に少しパニックになっていたので、最も「学生らしい」方法、つまり読書を選びました。
本を読むことが有益であることは否定できませんが、効率が低すぎます。さらに、実際の作業では、ビッグ データ ストレージと計算エンジンの変換の多くは独自に研究されており、専門的な書籍に頼ることは効果的ではありません。テスト作業を行っております。
専門書と比べて、チームの文書や大胆な質問は、私たちが職場に参入するための出口です。
チームドキュメントには過去の要件テスト記録が記録されており、製品の背景を理解するのに役立つだけでなく、検索機能を活用することで、馴染みのない用語や概念をすぐに理解し、コミュニケーション効率を向上させることができます。その中には、制作、研究、テストのチームにいくつかの独自の名前のマイクロサービスとガジェットがあります。もしチーム内で検索したり、直接問い合わせたりしていなければ、それらを理解するために多くの不必要なエネルギーを費やしていたかもしれません。したがって、グループに溶け込み、より早く作業を開始できるように、より積極的になり、より多くの質問をし、より多くのコミュニケーションを図る必要があります。
今振り返ると、「新人時代」がとても懐かしいです。あなたがメンターを探さなければ、メンターは毎日あなたのところに来て「今日は何か質問はありますか？」と尋ね、どんなに簡単な質問でも根気よく答えてくれます。また、新人の月次報告や部門間の1対1のコミュニケーションは、「生まれたばかりの子牛」として、疑問や提案があればリーダーに直接伝えることができる良い機会です。困難や課題もありましたが、その積み重ねがあったからこそ、少しずつビッグデータテストの分野でキャリアを歩み始めることができました。
2. 進歩への道: モンスターを倒し、アップグレードすることは段階的に行う必要があります
2.1 ステップ 1: ビッグ データ コンピューティング タスクを送信する
従来のソフトウェアテストと比較して、ビッグデータテストの中核は、ビッグデータシステムが大量のデータを効率的かつ安定的に処理できることを保証するために、データ分析と処理の精度と信頼性を検証することです。ビッグ データ テストには一定のしきい値があり、基本的なソフトウェア テスト スキルを持っているだけでなく、ビッグ データ プラットフォームの使用に精通している必要があります。したがって、最初のステップは、ビッグ データ プラットフォームでコンピューティング タスクを送信することかもしれません。
簡単そうに聞こえますが、実際には多くの準備作業があります。
この時点で、ユーザーの観点からはタスクは正常に送信されましたが、ビッグ データ プラットフォームおよびテスターとして行うべき作業はまだたくさんあります。
2.2 ステップ 2: ビッグデータ製品マップをライトアップする
ビッグデータタスクを送信するプロセスから、ビッグデータプラットフォームがユーザーに直接データ権限管理、アカウント管理、プロセスセンターなどを提供するだけでなく、タスクに関連する計算エンジンも含む多くのサービスを提供していることが簡単にわかります。タスク送信後の計算 スケジューリング エンジン、ストレージなど。
初期段階で要件をフォローアップする場合、常に疑問が尽きません。
「タスクはコンピューティング環境を見つけることができませんか?」
「なぜメーターを読む許可がないのですか？」
「テーブルのメタデータはどこで確認できますか?」
……
主要なテストサービスは1つだけですが、関連するサービスは数多くあり、最初はどこを確認すればよいのか、どのように確認すればよいのか分からないかもしれません。ビッグ データ ストレージとコンピューティング エンジンの需要は研究開発から発生することが多く、その種類は技術的な変革であることが多いですが、その変革は長いデータ処理リンクの中の特定のリンクにすぎませんが、テスト シナリオの整理は研究開発から切り離すことができません。リンク全体の精通度。ビッグデータプラットフォームの基本サービスや機能特性が明確でなければ、品質保証作業を完了することはできません。
日々のニーズの蓄積に加えて、ビッグデータプラットフォームの探索にも率先して取り組む必要があります。ビッグデータのテストおよび開発エンジニアとして、独自のビッグデータ製品マップを探索して明らかにすることは、私たちにとって必須のコースです。ビッグデータプラットフォームの製品はデータとデータ処理タスクと切り離せないものであり、この問題はこの 2 つの点から考えるのがよいでしょう。
ビッグ データ プラットフォームのサービスに精通していることは、ビッグ データ テストの基本要件です。これにより、生産チームと研究チームによるリスク評価の実施をより適切に支援できるようになります。さらに、ビッグ データ プラットフォーム自体も、私たちの仕事を支援する一連のデータ管理ツールをユーザーに提供します。たとえば、メタデータ クエリでは、テーブル関連の情報を表示するための独自のスクリプトを作成するのではなく、テーブルの構造、アクセス、ストレージ、その他の詳細情報をプラットフォーム上で直接簡単にクエリできます。
2.3 ステップ 3: 大規模なプロモーションの準備を始める
大規模な販売が行われると、トラフィックが大幅に増加し、データ処理要件が急増することがよくあります。大規模なプロモーション活動中にサービスの安定した運用を確保するために、ビッグデータ プラットフォームにはストレス テスト、緊急訓練、緊急計画など、いくつかの重要な準備措置が講じられます。
私が入社してダブルイレブンの準備を経験した当初は、新しいビッグデータサービスを担当していたため、大きなプロモーションの準備計画の多くはゼロからの挑戦でした。私も経験不足のため、JD.comで初めての徹夜残業を経験しました。
既存のストレス テスト ツールはインターフェイス レベルのストレス テストをサポートできますが、ストレス テストの時間を調整する方法、ストレス テストの期間とトラフィック量を決定する方法、ストレス テスト データのソースなどの問題が依然として存在します。経験不足のため準備に時間がかかり、実際の稼働は閉会日になってしまいました。そして、運用を開始しようとしたとき、私はコア期間の問題について知りませんでしたが、研究開発のクラスメートが現在の期間にリスクがあることを思い出させた後、適切なタイミングで行動を中止しました。ストレステスト環境は、通常、オンライン環境から完全に独立させることはできません。また、新しいサービスを運用するためにストレステストを実施するため、コア期間中にストレステストを実施することは避けなければなりません。
ストレス テスト インターフェイスを整理するときに、読み取りインターフェイスと書き込みインターフェイスを区別する目的は、ストレス テスト プロセス中に発生する可能性のあるデータの一貫性の問題をよりよく理解し、制御することです。しかし、これはある程度誤解を招くことになります。ストレス テスト インターフェイスは読み取りインターフェイスとして識別され、ストレス テスト データは独立して構築されるため、このインターフェイスに監査関連の書き込み操作が含まれる可能性があるとは考えていませんでした。ストレス テストが終了するまで、ダウンストリーム サービスから、ストレス テストがサービスに影響を与えたことを通知するアラーム コールを受け取り、読み取りインターフェイスでもダーティ データが生成されることに気づきました。
緊急プランは、オンライン上のトラブルに対する緊急対応手段であり、その運用には一定のリスクが伴います。計画検討の段階では、リスクの高い運用を伴うため、当初は打ち上げ前環境で訓練運用を行うためのリソースを申請する予定だったと記憶しています。しかし、ldr は重要な問題を提起しました。準備期間中に実際の運用を実行しなかった場合、大規模なプロモーション中に問題が発生した場合はどうすればよいでしょうか?同氏は、問題をできるだけ早期に発見して解決することによってのみ、オンライン サービスの安定性を確保できると強調しました。
これまでに3つの大型プロモーションの準備に参加してきましたが、大型プロモーションの準備計画や実行プロセスがますます成熟していることを実感しています。このような状況においても、準備計画に厳密に従い、主要な運用手順が製品開発チームと確実に連携するようにし、上流および下流のサービスおよびプラットフォームのユーザーがリスクを予測できるように関連情報を事前に発表する必要があります。
さらに、同社の既存のプラットフォームをベースに、大きなプロモーションの準備が徐々に通常業務に変わりつつあり、準備作業が徐々に制度化・自動化され、信頼性の高いソリューションが形成されています。この一連のオンラインサービス保証策は、大規模なプロモーションを強力にサポートするだけでなく、サービス開始ごとにリスク評価を実施し、問題を時間内に発見して早期に解決できるようにすることもできます。
3. 能力のレビュー: 初心者向けのいくつかの提案
ビッグデータのテストに興味がある学生にとって、次の 4 つの点は注目に値する準備の方向です。
ps. これらの点は採用要件と非常に似ていますので、興味のある職種の採用情報にもっと注目して、求人要件に基づいて専門能力を開発することもできます。
4. 未来は私たちの手の中にあります: 押し寄せるテクノロジーの波
絶えず出現するさまざまなアプリケーションの中で、アプリケーション層のテスト ツールと品質保証手法は成熟と進歩の過程を経ています。多くのアプリケーションの実践的なテストに伴い、新しい APP や Web アプリケーションの市場投入前に必要なベンチマーク テストや、オンライン、監視、緊急時の自己修復方法がますます標準化され体系化されています。ただし、アプリケーション層のテストと比較して、ビッグデータ関連製品のテストは個人の専門能力に大きく依存しており、通常はより高い専門的基準が必要です。したがって、ビッグ データ テストの範囲は、アプリケーション層のテストの範囲よりも低いことがよくあります。これにより、探索する多くの潜在的な機会が得られます。
毎年、私のような JD スターが JD.com に参加し、データ センターに参加します。おそらく、あなたは私と同じようにゼロから始めるかもしれませんが、ここで失望することはないと思います。困難に直面したときも、自分の才能を発揮したいときも、あなたのそばにいて助けてくれるチームがあり、先見の明を持ってあなたを導いてくれる先輩たちがいます。 JD.comでお待ちしております。