さらに技術的な交流や仕事の機会が必要な場合は、ByteDance データ プラットフォームの WeChat 公式アカウントをフォローし、[1] と返信して公式コミュニケーション グループに参加してください。
グローバル ソフトウェア エンジニアリング イノベーション サミットでは、Volcano Engine DataTester の研究開発責任者である Han Yunfei 氏が、「AB テスト: データをビジネスと踊らせる」をテーマに、Volcano Engine DataTester の開発の歴史と開発状況を参加者と共有しました。
ABテストは本質的に実験的な評価手法であり、無作為抽出実験を設計することで、群衆、時間、環境、その他製品の違いなどの外的要因の影響を排除し、効果を正確に評価し、合理的な帰属を可能にします。AB テストの助けを借りて、企業はソリューションを最適化し、イノベーションを刺激し、リスクを軽減し、効果を特定することができ、各デジタル エクスペリエンスを最適化するための信頼できる意思決定の基盤を提供し、それに応じて自動化された意思決定を実現することに努めます。
同時に、AB テストは企業のデータ機能の成熟度のゴールドスタンダードでもあります。これに基づいて、エンタープライズ データ機能の成熟度は、データ探索、データ情報、データ ドライブ、データ変換の 4 つの段階に分けることができます。
ABテスト技術が明らかに
共有の中で、ハン・ユンフェイ教師は、ABテスト技術の背後にある3つの核心ポイントであるオフロードサンプリング、統計分析、データ構築を参加者に明らかにし、この技術を克服する背後にある問題と課題を詳細に紹介しました。
トリアージ サンプリング: AB テストの基礎
現在、AB テストのオフロードには、サーバーサイド オフロードとバックエンド オフロードの 2 つの一般的な形式があります。1 つは、製品の数値戦略、推奨アルゴリズム、プッシュ戦略、広告ランキングなどの実験機能の開発、実装、および最終制御をサーバーが担当する実験です。もう 1 つは、インターフェイス機能、UI スタイル、運用資料などの効果的な実験の開発、実装、および最終的な管理はクライアントが責任を負うことです。
この段階で、Volcano Engine DataTester の技術スタッフは 5 つの課題を克服しました。
-
異なるグループ内のユーザーをより均一にする方法は? Volcano Engine DataTester のソリューションは、グループ化プロセス中に 2 回ハッシュして、群衆の誘導のランダム性とグループ内のユーザーの均一性を確保することです。
-
実験間の相互依存を避けるにはどうすればよいでしょうか? これに関して、Volcano Engine DataTester は、AB テストの血縁関係を強制する父と子の実験を設計しました。
-
主要な実験がオンライン化された後にその効果が減衰するのを防ぐにはどうすればよいでしょうか? Volcano Engine DataTester は、企業に実験をリバースしたり、実験をグローバルにリバースしたりする機能を提供します。一方で、実験終了後も、同社は長期的な観察のためにトラフィックのごく一部を保持することができます。一方で、実験を行わずに維持し、実験を公開すること自体がユーザーに影響を与えるかどうかを観察するユーザーもいます。
-
ユーザーが独立しておらず、シナリオによってはランダムに分散できないという問題を解決するにはどうすればよいでしょうか? この課題を解決するために、Volcano Engine DataTester はタイム スライス ローテーション実験を導入しました。ランダムに分割できない問題を解決し、それに伴いデータの分析方法も変更しました。
-
二国間市場転換の問題をどう解決するか? この問題に対する Volcano Engine DataTester の解決策は、実験フェーズ中に変更を加えるのではなく、実験後の統計的推論フェーズで修正評価を行うことです。
統計分析: AB テストのバックボーン
Volcano Engine DataTester は、古典的な仮説テスト フレームワークと ByteDance の長年にわたる内部アプリケーションと最適化のアップグレードに基づいた AB テスト プラットフォームであり、科学的信頼戦略を通じて意思決定の基礎を提供できます。長年にわたる最適化の結果、Volcano Engine DataTester の最適化とアップグレードは次の 5 つの側面に要約できます。
-
多くの種類の指標と不安定な信頼結果の問題に対応して、Volcano Engine DataTester は分類モデリングを実行して、信頼結果を安定させながら有意性と p 値の問題を解決しました。
-
実験中は複数のバージョンや指標を一度に見る必要があるため、エラーが発生する可能性が高くなります。実験データの信頼性を高めるために、Volcano Engine DataTester はデータ インジケーターに対して複数の比較補正を実行して、基本水位よりも高い実行レベルを維持できます。
-
2 番目の問題に基づいて、実験期間中のレポートの閲覧頻度が高いという新たな問題を生み出すのは簡単です。実行レベルを維持するために、Volcano Engine DataTester は逐次検査方法を使用して、ユーザーがデータ インジケーターを修正できるようにします。
-
Volcano Engine DataTesterは、確率分布などの特定のデータをより直感的に閲覧できるよう、独自のABテストプラットフォームをベースに最適化され、確率分布統計グラフなどの機能を提供します。
-
独自のABテストプラットフォームは仮説検証の敷居が高く、運用や効果の集計には専門的な基盤が必要です。Volcano Engine DataTester はユーザーに結論の概要を提供し、AB テストの敷居を下げることができます。
上記の機能に基づいて、Volcano Engine DataTester には共通分析モデルも組み込まれており、DataTester 実験レポートの共通データ分析モデルをサポートし、グループ間の指標変化の理由の特定を支援し、ビジネス上の意思決定やビジネス上の意思決定を支援します。実験計画をさらに最適化します。
データ構築：ABテストの高い壁
オフロード サンプリングと統計分析が比較的安定している場合、Volcano Engine DataTester が次に考慮する必要があるのは、プラットフォームのデータ構築です。
データ統合の観点から、Volcano Engine DataTester はマルチソースの異種データ統合ソリューションを選択しました。つまり、イベント埋め込みポイントの独自の SDK コレクションに基づいて、ビジュアル インターフェイス構成とマルチソース データ統合も実現します。
同時に、Volcano Engine DataTester はデータ フライホイールのインジケーター構造に基づいています。一方では、ビジネス最適化の目標を指標システムに分解し、実験的な反復アクションに変換できます。他方では、実験を使用してデータを蓄積し、その後マイニングして利用することができ、水平方向の移行により、データとビジネスのダンスを実現するために、ビジネス目標を最適化します。
ABテストの応用実践
AB テストの最も一般的なアプリケーションは、製品の最適化、プライベート ドメインの操作、パブリック ドメインの操作の 3 つのカテゴリに分類できます。Volcano Engine DataTester には、3 種類のシナリオに対応する成熟したソリューションがあります。
製品最適化シナリオソリューション
製品最適化シナリオでは、独自のAPP、PCサイト、ミニプログラムをタッチポイントとして使用して、APP最適化、ミニプログラム最適化、PC Webサイト最適化を実行できます。このアプローチは、ユーザーがビジネス プロセスにおけるエクスペリエンス最適化、製品機能の最適化、商品化機能の最適化、およびユーザーの分裂を達成するのに役立ちます。
このシナリオで AB テストを適用する最良の方法は、DataTester のインテリジェント パブリッシング (機能フラグ) 機能を使用して実験プロセスを修正することです。追加の研究開発コストを発生させることなく、反復ごとに AB 実験を開始できます。
プライベートドメイン運用シナリオソリューション
プライベート ドメイン運用シナリオでは、企業は APP、自社所有および外部から購入した H5 ランディング ページ、ユーザー アクセス チャネルをタッチ ポイントとして使用して、バナーやポップアップ ランディング ページの運用、プライベート ドメイン分裂コミュニケーションの最適化を実現できます。そしてマーケティング活動のプッシュタッチ。同時に、ユーザーのライフサイクルの 4 つの段階（プロモーション、維持、インセンティブ、リマーケティング）に沿った最適化を実行して、運用効果と人的効率を向上させ、運用コストを削減し、チームの意思決定を改善することができます。
プライベート ドメインの運用シナリオでは、AB テストのベスト プラクティスは、ターゲットを絞った母集団実験と差別化された戦略の推進を実施し、最終的に洗練された運用を実現することです。
パブリックドメインのマーケティングシナリオソリューション
パブリック ドメインのマーケティング シナリオでは、タッチ ポイントはオンライン広告、マーケティング ランディング ページなどになります。Volcano Engine DataTester の助けを借りて、企業は打ち上げ前の正確なマーケティングと品質向上を実現し、打ち上げプロセス中の打ち上げ効率を向上させ、利点を科学的に評価し、打ち上げ後の効果分析とマーケティング コンバージョンの改善を促進することができます。
共有の最後に、ハン・ユンフェイ教師は、AB テストの今後の発展傾向を 4 つの方向にまとめました。
-
インフラストラクチャ：ABテストは企業システムにとって不可欠なインフラストラクチャになります。
-
この実験は包括的です。AB 機能がビジネス システムに統合されているため、ユーザーの学習と使用のしきい値が低くなり、誰もが AB テストの実験者になれます。
-
実験的インテリジェンス: 大規模モデルなどの AI テクノロジーを使用して、インテリジェントに問題を発見し、実験を設計し、バージョン バリアントを生成し、レポートを解釈します。
-
実験管理: 実験プロセスとデータはより適切に構造化され洗練され、実験戦略ライブラリと最適化指標ライブラリに徐々に蓄積され、企業の中核となるデジタル資産になります。
この共有を通じて、参加者はABテストの技術や実践への理解を深め、Volcano Engine DataTesterの将来への期待が高まりました。Volcano Engine DataTester は ByteDance の長期的な蓄積から生まれました。2023 年 6 月の時点で、Byte は DataTester を通じて 240 万件以上の AB 実験を実施しており、毎日 4,000 件以上の新しい実験が追加され、50,000 件以上の実験が同時に実行されています。 。DataTester は現在、Midea、Gete、Kaishu Storytelling などを含む数百の企業にサービスを提供しており、ユーザーの増加、コンバージョン、製品の反復、運用活動などのビジネスのあらゆる側面に科学的な意思決定の基礎を提供し、成熟した「データ駆動型」を統合しています。 「成長」の経験がさまざまな業界に力を与えます。
詳細については 、クリックして
Volcano Engine A/B Testing
にジャンプしてください
{{名前}}
{{名前}}