目次
広告プラットフォームの構築と改善は長期的なプロジェクトです。たとえば、Google は 2003 年に Applied Semantics の買収を通じて Google AdSense プロジェクトを開始し、20 年後の今日まで、Google ディスプレイ広告プラットフォームは革新と改善を続けています。広告プラットフォームは収益責任を伴う複雑なオンライン プラットフォームであるため、広告プラットフォームに変更を加える場合は細心の注意を払う必要があります。同時に、プラットフォームが成熟するにつれて、広告効果を向上させることが難しくなります。完全で使いやすく、厳密なオンライン実験システムは、品質チームが高効率の成果を長期間維持するための重要なツールであり、その重要性は大航海時代の羅針盤に劣りません。
すべての多国籍インターネット企業は、企業に安定した利益をもたらす広告システムを備えています。インターネットの発展の歴史はインターネット広告の発展の歴史とも基本的に一致しており、インターネット広告は現代の情報技術を駆使して生み出された完璧なビジネスモデルと言えます。
広告プラットフォームは通常、ビジネス (通常、配信システム、ビジネス データベースなどを含む)、システム (エンジニアリング、インフラストラクチャとも呼ばれる)、品質 (アルゴリズムとも呼ばれ、通常はデータを含む) の 3 つの主要な領域に分けられます。広告プラットフォームの中核的な競争力は、効率的かつ大規模なシステムを使用して広告の品質を向上させ、それによって顧客のビジネス目標の達成を支援することです。
「インターネット広告システム: アーキテクチャ、アルゴリズム、インテリジェンス」
唐西柳著
著者の Google と Tencent での 10 年以上の広告経験を組み合わせたもの
インターネット広告システムのアーキテクチャ、テクノロジーの選択、ランディング手法、導入パス、業界事例を包括的に解説
本書は、著者が自身の豊富な業界知識と実践経験に基づいて執筆したもので、読者が広告プラットフォームの構築と改善について深く理解し、実践経験を積み、スキルと競争力を向上させることを目的としています。例えば、データエンジニアリングはビッグデータプラットフォームの中核であり、データの利点を最大限に発揮するには、ビジネス目標に応じたさまざまなアルゴリズムの実現をサポートする強力なシステム能力が必要です。本書の第 5 章では、データ アーキテクチャの要素を完全にカバーし、業界では珍しい多くの実践的な経験の共有を含む、数種類の一般的な広告ターゲティング機能処理アルゴリズムを紹介します。第 6 章では、実験システム構築のさまざまな詳細を具体的に説明します。
本書は大規模広告プラットフォームの「秘伝の書」であり、非常に詳細な「ラインレベルの設計図」である。システム エンジニア、アルゴリズム研究者、プロダクト マネージャー、または広告業界への参加に興味のある人であれば、本書を使用して高度な広告システムのアーキテクチャとアプリケーションを深く理解できると思います。
簡単な紹介
本書は、インターネット広告システムのビジネス価値、製品形態、アーキテクチャ設計、技術選定、着地方法論、導入パス、業界事例などをエンジニアリング実務の観点から解説した書籍です。 Google と Tencent の 10 年以上にわたる実現経験の要約。
この本を通じて、次のことを習得します。
-
インターネット広告の生態と製品形態では、
まず Google、Meta、Amazon、Microsoft などの主要なオンライン広告プラットフォームを紹介し、次に主要なオンライン広告ネットワークとプログラマティック バイイングの生態を紹介し、最後にオンライン広告の配信方法を含むオンライン広告の製品形態を紹介します。オンライン広告と請求方法。主な目的は、読者がインターネット広告の生態について巨視的な理解を確立できるようにすることです。 -
Facebookマーケティング、Google広告、Twitter広告などの広告プラットフォームと組み合わせた広告配信システムのアーキテクチャと設計、広告の階層構造、3つの広告の特徴や活用デモなどを主な内容として説明します。プラットフォーム API、API の基本的な設計原則と設計方法論。読者はこの章から、現代の広告システムの配信サブシステムの設計アイデアを学ぶことができます。 -
広告システムの設計方法論
インターネット広告システムの規模は比較的大規模なものが多いため、分散システムに代表される大規模ネットワークシステムのアーキテクチャ設計方法論を詳しく紹介し、読者が広告システムを設計するための基礎を築きます。 -
広告システムのエンジニアリング構造では、
広告再生システムのアーキテクチャ設計、広告システムのデータ アーキテクチャ設計、広告システムの A/B テストについて詳しく説明します。 -
広告戦略システムのアーキテクチャ設計で
は、まず広告入札の原理と広告戦略システムの設計を紹介し、その後、推定モデルのデータ処理、一般的に使用されるモデルの評価方法と指標、一般的に使用されるモデルのトレーニングなどの広告システム推定サブシステムについて説明します。メソッド、および新規広告 CTR 推定値とコンバージョン率推定値。
本書は、インターネット広告システム設計のあらゆる側面を体系的に解説しており、広告システム、レコメンドシステム、ビッグデータシステムの構築に高い参考価値があります。
著者について
Tang Xiliu は、 広告テクノロジーの上級専門家およびソフトウェア アーキテクチャの専門家であり、Google と Tencent で歴任しました。彼は、テンセントの広告検索システム、大規模データ分析システム、ディープラーニング システムのアーキテクチャ設計と開発、およびテンセントのソーシャル広告システムの 0 から 1 の構築を指揮してきました。現在、Mobvista のシニア アーキテクトを務めています。
ソフトウェア アーキテクチャに 20 年以上携わり、小規模な Web サービスから大規模なエンタープライズ アプリケーションに至るまでのプロジェクトに取り組んできました。深層学習システム技術、検索システム、分散ネットワークサービス、言語モデル、ビッグデータ処理などに焦点を当て、コーディング、設計原則、データベース、ソフトウェアアーキテクチャなどの概念を深く理解します。仕事の目標は、複雑な問題を解決し、組織の目標達成を支援する革新的なソリューションの開発に情熱を持ち、堅牢で安全かつスケーラブルなソフトウェア システムを作成することです。
開発チームの主導、リソースの管理、他のチームとのコラボレーションの経験があり、技術者ではない人々に複雑な技術概念を説明するのが得意な優れたコミュニケーターです。細部にまで注意を払うことができ、潜在的なリスクや問題が発生する前に特定することができます。
読者
本書は、広告システムについて包括的にまとめたもので、大規模なインターネット システムを理解したいアーキテクト、アルゴリズム エンジニア、学校の教師や学生に適しています。また、広告システムの原理を理解したいマーケターも選択して読むことができ、有益となるはずです。
たっぷりのコーヒーがおすすめ
本書の著者はテンセントの広告エンジンの設計開発の中心人物であり、検索システム、大量データ分析システム、深層学習システムの開発を主導し、テンセントの広告の急速な発展を支えてきた。 10年間。この期間中、Tencent Advertising の年間収益は数億元から数千億元に増加しました。本書は、インターネット広告システムをアーキテクチャからアルゴリズム設計まで体系的に紹介し、ディープラーニングシステム技術、検索システム、分散ネットワークサービス、ビッグデータ処理などを主な内容とする、広告テクノロジー実務者向けの実践的かつ包括的なガイドです。
——Tencent 広告テクノロジー担当ディレクター、Lin Shifei 氏
何百億もの大規模なリクエストを処理できる広告システムは、エンジニアリングの現場でどのように効果的に構築されているのでしょうか? この本には詳細な手順が記載されています。この本の著者と私は、テンセントのソーシャル広告システムを0から1まで構築する過程で長年協力してきました。アーキテクトとしてシステムアーキテクチャに関する深い知識を尊敬するとともに、率先してコードを書く彼の精神に感謝しています。最前線で。この本は、広告システムの第一線で活躍するエンジニアにとって大きな助けになると思います。
——Firelight Education Technology の CEO、Jin Zhihui Xiliu は
、私が Google で働いていた頃の古い同僚であり、長年の友人でもあります。私は 20 年近くの社会人生活の中で、アルゴリズム、エンジニアリング、理論を備えたあらゆる種類の優れた人々に出会ってきましたが、その中でも、Xiliu はアルゴリズムを実践に適用するのが得意な数少ない人物の 1 人です。さらに、Xiliu は足を踏み入れた分野において常に広さと深さの両方を達成することができます。本書は上記の評価の生きた証拠である。この本の中で、Xiliu は、インターネット広告の生態学的状況から広告モデルのアルゴリズム、広告の掲載から広告効果のテスト、分散型クラウド コンピューティング アーキテクチャから広告システム アーキテクチャに至るまで、現在のオンライン広告のあらゆる側面を浅いところから深いところまで説明しています。広告システムのデータ アーキテクチャから入札戦略まで。オンライン広告システムの実践者や愛好家は、この本から恩恵を受けることができると信じています。
——リウ・チャオ氏、comect.com CTO兼共同創設者
書籍カタログ
順序
序文
第 1 章 インターネット広告エコシステム 1
1.1 インターネット広告エコシステムの参加者 1
1.1.1 主要なオンライン広告プラットフォーム 2
1.1.2 主要なオンライン広告ネットワーク 8
1.1.3 プログラマティック購入エコシステム 12
1.2 オンライン広告商品の形式 15
1.2.1 オンライン広告の配信方法 15
1.2.2 オンライン広告の請求方法 18
1.3 章の概要 19
第2章 広告配信システム 20
2.1 広告階層 20
2.1.1 Facebook マーケティングの広告階層 20
2.1.2 Google 広告の広告階層 22
2.1.3 Twitter 広告の広告階層 25
2.2 API 26 の基本設計原則
2.2.1 API 27 の値
2.2.2 API 28 の計画
2.2.3 API の柔軟性 30
2.2.4 API の管理性 32
2.2.5 API のサポート性 34
2.3 広告プラットフォーム API36
2.3.1 Google 広告 API37
2.3.2 Facebook マーケティング API40
2.3.3 Twitter広告API50
2.4 章の概要 57
第3章 大規模ネットワークシステムのアーキテクチャ
デザイン58
3.1 大規模ネットワークシステムの歴史的背景 58
3.2 分散クラスタ管理システム 59
3.2.1 Docker 61 の概要
3.2.2 マイクロサービステクノロジの概要 63
3.2.3 Kubernetes 64 の概要
3.3 分散ファイルシステム 66
3.3.1 GFS66
3.3.2 HDFS68
3.4 分散ストレージ 69
3.4.1 分散ストレージの概要 69
3.4.2 HBase 70 の概要
3.5 分散型コンセンサスサービス 72
3.5.1 分散型コンセンサスアルゴリズムの概要 72
3.5.2 ZooKeeper の使用シナリオ 73
3.6 負荷分散 76
3.6.1 フロントエンドリクエストの負荷分散
3.6.2 データセンター内の負荷
バランス 77
3.7 監視および警報システム 77
3.8 Web サービス インターフェイス仕様 78
3.8.1 RESTful 79 の概要
3.8.2 GraphQL 79 の概要
3.8.3 RPC 81 の概要
3.9 章の要約 84
第 4 章 広告システムのアーキテクチャ設計 85
4.1 広告再生システムのアーキテクチャ 85
4.2 データ ETL モジュール 86
4.2.1 データ抽出 87
4.2.2 データ変換 91
4.2.3 データのロード 92
4.3 取得モジュール 95
4.3.1 テキスト検索テクニック 96
4.3.2 ブール検索 103
4.3.3 最近傍検索 119
4.4 章の概要 129
第 5 章 広告システムのデータ アーキテクチャ設計 130
5.1 広告システムのデータアーキテクチャ 130
5.2 広告システムのデータ型 131
5.2.1 広告メタデータ 131
5.2.2 広告ログデータ 133
5.2.3 ユーザーの肖像データ 134
5.2.4 広告コンテキストデータ 147
5.2.5 広告主の個人データと
リマーケティング 148
5.3 データ管理プラットフォーム 150
5.3.1 データ管理プラットフォーム 150 の概要
5.3.2 類似視聴者の拡大 153
5.4 特徴量エンジニアリングプラットフォーム 157
5.4.1 フィーチャーの作成 157
5.4.2 機能補足記録およびトレーニング サンプル
データフロー 159
5.4.3 特徴ストレージ 161
5.4.4 特徴処理アルゴリズム 162
5.4.5 統合された特徴量エンジニアリング プラットフォームの構築
必要性 165
5.5 章の要約 165
第 6 章 A/B テストとインターネット広告 166
6.1 A/B テストの概要 166
6.2 実験データの収集 167
6.2.1 トラフィック管理 168
6.2.2 トラフィックの階層化 169
6.3 実験データの分析 176
6.3.1 大数の法則と中心極限定理 176
6.3.2 A/B テストのサンプルサイズ
推定179
6.3.3 シンプソンのパラドックス 181
6.3.4 マンテル・ヘンツェル指標 182
6.3.5 バケットとジャックナイフの重量
サンプル186
6.4 実験情報管理 191
6.5 A/B テストの広告適用シナリオ 194
6.6 章の要約 194
第 7 章 広告システム戦略 195
7.1 広告入札 195
7.1.1 ゲーム理論の基礎 197
7.1.2 ナッシュ均衡 200
7.1.3 ナッシュ均衡の存在証明 202
7.1.4 機構設計理論 211
7.1.5 一般化された第二価格入札 231
7.1.6 VCG 入札 237
7.2 広告戦略システムの設計 242
7.2.1 広告システムの大まかなレイアウト設計 243
7.2.2 広告予算管理システム 245
7.2.3 広告価格調整アルゴリズム 247
7.3 章の要約 250
第 8 章 予測アルゴリズム 251
8.1 オフラインでのトレーニング データの準備とモデル
評価252
8.1.1 トレーニングデータの準備 252
8.1.2 モデルのオフライン評価 254
8.2 一般的に使用される予測モデル 261
8.2.1 ロジスティック回帰モデルと機械学習
財団262
8.2.2 自動機能検出をサポートするモデル
方法288
8.2.3 深層学習モデル 294
8.3 新しい広告の CTR 推定 314
8.3.1 トンプソンサンプリングアルゴリズム 315
8.3.2 モンテカルロサンプリング 318
8.3.3 マルコフ連鎖モンテカルロ
サンプル325
8.3.4 ギブスサンプリング 330
8.3.5 ラプラス近似 331
8.4 広告コンバージョン率の推定 334
8.5 章の要約 336
記事の最後にある自己購入リンク
インターネット広告システム: アーキテクチャ、アルゴリズム、インテリジェンス【Picture Price ブランドレビュー】-JD.com