小紅書コミュニティのコンテンツは主にUGCであり、体験共有型の広告クリエイティブフォーマットはコミュニティユーザーの消費習慣により沿っており、より良い広告効果も達成できます。顧客が広告クリエイティブ制作の敷居を下げ、低コスト、高効率かつ持続可能で高品質な広告クリエイティブを大量に制作し、広告クリエイティブとトラフィック適応を合理的に最適化する方法は、インテリジェントクリエイティブディレクションが取り組む重要な課題です。解決へ。
1 年以上の調査と構築を経て、当社は広告クリエイティブの制作と選択機能の完全なセットを構築し、顧客が広告クリエイティブをワンストップで配置できるようにしました。この記事では、Xiaohongshu Advertising のインテリジェントなクリエイティブ ディレクションにおける当社の能力構築と技術ソリューションを紹介します。
小紅書では、ユーザーはリッチメディア ノートを通じて世界の不思議を共有し、発見します。小紅書エコシステムの重要な部分として、商業広告もコミュニティの美学と雰囲気に適合する必要があります。この非常に大規模な UGC コミュニティでは、個人の経験に基づいた誠実な共有がユーザーの間で人気があり、広告情報も例外ではありません。
広告クリエイティビティは、広告情報の主な伝達手段であり、広告主が宣伝および販売したいコンテンツを運ぶ一方で、商業情報がユーザーに到達する最初の場所でもあります。広告の創造性は、広告の有効性と効果に直接影響しますユーザーエクスペリエンス。広告写真が製品の特徴を簡潔かつ直接的に強調しているかどうか、タイトルが製品の適用可能なシナリオを示しているかどうかなど、すべてユーザーの注意に影響を与える要素であり、広告の創造性の一部でもあります。高品質のクリエイティブは制作コストが比較的高くなりますが、Xiaohongshu がお客様の広告クリエイティブ制作の敷居を下げ、クリエイティブの最適化やトラフィックの適応を支援できれば、広告効率の向上とユーザーエクスペリエンス満足度の向上に大きな意味を持つことになります。 。
長年の開発を経て、業界の他の企業は、広告クリエイティブのタイトル、写真、表示スタイルなどの多くの側面でインテリジェントな機能を提供してきました。小紅樹の商業化は遅れてスタートしましたが、インテリジェントな創造性の方向に追いつきつつあります。
小紅樹広告は2021年にインテリジェントクリエイティブ関連の構築を開始し、検索と情報フローの2つの主要シナリオでの製品化を次々に実現し、徐々に完全な機能マトリックスを形成しました。
素材レベルでは、小紅書は当然リッチメディアノートの形をしており、ノート自体にも高品質な写真素材が含まれているため、私たちが率先して写真選択機能を実装しました。
その後、自動生成されたタイトルを候補セットとして顧客に提供し、顧客の審査を経て配信時にシステムが選択します。
Preferredが対応する素材も通常のノート広告からリード広告まで拡大しており、将来的にはプロダクト広告にも対応する予定だ。
インテリジェントな最適化戦略は、効率的な E&E アルゴリズムを構築するだけでなく、数千人を対象とした大規模な深層学習モデルも構築します。
こうした製品の機能投入や効果の向上の裏には、技術的な課題を一つひとつ解決していくことがあった。
「いい女でもご飯抜きの食事は難しい。」 豊かで質の高いクリエイティブな素材が、効果を高める知的な創造性の源となる。ユーザーエクスペリエンスを確保するために、Xiaohongshuの広告フォーマットは非常にネイティブでメモの形式になっているため、クリエイティブ素材は主にカバー画像とタイトルの2つの部分で構成されています。グラフィックノートには通常、ブロガーや広告主が厳選した複数の写真が含まれており、そのままカバー画像の素材として使用できます。動画ノートの場合は、ブロガーから提供された動画からキーフレームを抽出してカバー画像の素材にすることができます。しかし、ビデオノートでもグラフィックノートでも、ブロガーが提供するタイトルは1つだけなので、ブロガーの負担を増やさずに、より多くのタイトル素材を入手するにはどうすればよいでしょうか？
技術的な問題
テキスト生成技術は数年前から産業界で活用され始めていますが、制御性と多様性をどのように両立させるかが技術的な難しさです。制御性を確保するために、初期のソリューションは主にテキスト生成のテンプレートまたはルールに基づいていたため、多様性が乏しくなりました。大規模な NLP モデルの出現により、オープンな自然言語生成が徐々に実現可能になってきましたが、新たな問題も引き起こしています: 大規模なモデルはよりスムーズなコンテンツを生成する点で非常にインテリジェントであるように見えますが、実際にはそれを適用するのは簡単です。自分の才能を他人に誇示する現象が現れる。大規模な NLP モデルによって生成されたテキストを、制御可能ではあるが制限されず、自由ではあるが緩くならないようにする方法は、技術的に非常に困難な問題です。
最先端の制御可能なテキスト生成技術と小紅書の大量の高品質テキストビッグデータに基づいて、内容理解に基づいた小紅書の注目タイトル生成システムを構築しました。
制御された生成
生成パラダイムに関しては、主に言語モデル (GPT2) と Seq2Seq (T5) に基づく 2 つの生成パラダイムを使用します。
● このうちGPT2モデルは、メモのリッチテキストを入力としてメモのコンテキスト情報を完全に学習すると同時に、機能制御情報（キーワード、タイトルの長さ、顔文字の有無など）を組み合わせます。タイトルを生成するため、生成されたタイトルが元のテキストと一致していることが大幅に保証されます。
キーワード/機能制御信号 + 注釈テキスト -> タイトルを生成
● Seq2Seq モデルは、主に高頻度のクエリ、ビッドワードをマイニングし、ブランド、機能ポイント、特典ポイントなどの情報をプロンプトとして使用することにより、元のタイトルを書き換えると同時に、さまざまなスタイル要素を統合して元のタイトルを書き換えます。オリジナルのタイトルを維持し、コアコンテンツによりタイトルの多様性が高まります。2 種類の生成モデルはオンラインで一緒に使用され、さまざまな広告文のより良い生成結果を保証します。
オリジナルのタイトルのコアコンテンツ + オリジナルのノートテキスト機能 | スタイルモデル -> スタイルタイトル (タイトルのコアコンテンツを含む)
トレーニング前の技術ベース
優れた生成機能は、Xiaohongshu のマーケティング スタイルに精通した強力な事前トレーニング済み言語モデルと切り離すことができません。業界最先端の大規模言語モデル理論と実践経験に基づいて、RED シリーズ - 事前学習モデル技術基盤を構築しました。Xiaohongshuの内部言語に基づいたRED-BERT (理解)、RED-GPT2 (生成) を提供します。 data )、RED-T5 (seq2seq) およびその他の事前学習モデルは、大規模な言語モデルを最大限に活用して、Xiaohongshu の膨大なテキスト知識の教師なし学習を実行します。
このうち、RED-BERTは、生成された依存関係のセールスポイント抽出、関連性評価、マシンレビュー品質管理、オフライン推定などのコンテンツ理解に関連する要件をサポートし、コアの制御可能な生成機能はRED-GPT2およびREDによってサポートされます。 -T5。市場にあるオープンソース生成モデルはすべて、中国語の Wikipedia などの公開コーパスに基づいてトレーニングされており、小紅書ノートの言語スタイルとは大きく異なります。小紅書 内部の 10 億ノートのコンテンツに基づいてトレーニングされており、小紅書ノートの言語特性をよりよく学習できます。同時に、語彙が大きすぎる、特定の中国語コーパスに焦点が当てられていない、絵文字や小紅書表現が欠如しているなど、公開モデルの語彙適応性の問題も改善しました。
以下は、2 つの生成モデルのオフライン評価指標です。オープンソース モデルと比較して、Xiaohongshu シーン トレーニングに基づく生成モデルは、関連指標が大幅に改善されています。
効率的な最適化戦略は、これらの創造的な素材がその役割を果たし、その価値を反映するための鍵となります。最適な戦略の品質は、次の 2 つの側面に反映されます。
1. それは良い選択ですか? ユーザーが最も好むクリエイティブなアイデアを選択できることが、広告の効率を向上させる鍵となります。
2. 選ぶのは早いですか? 良いアイデアをできるだけ早く選択できることが、顧客やユーザーが効果を実感するための鍵となります。
予備知識がなければ、広告ノート内の複数のクリエイティブ素材から最適なものを選択することは、実は MAB (Multi-Armed Bandit) 問題です。この種の問題に対して業界で一般的に使用されるアルゴリズム戦略には、イプシロン グリーディ (ɛ-greedy)、トンプソン サンプリング (トンプソン サンプリング)、UCB (上限信頼限界) などが含まれます。各アルゴリズムの収束速度やフィードバックデータの感度などを総合的に分析し、UCB戦略を採用しました。
UCB 戦略の紹介
マルチアームギャンブルマシン問題 (MAB): スロットマシンにはロッカー (アームに似たもの) があり、ロッカーを振ると一定の確率に従って一定の金額が吐き出されます。ギャンブラーは複数のスロットマシンに直面していますが、何も知りません。スロットマシンがお金を吐き出すこと. 確率分布が与えられた場合に収益を最大化するにはどうすればよいでしょうか?
MAB 問題を解決するための UCB 戦略のアイデアは、信頼区間を使用することです。各スロット マシンに信頼区間を与え、区間の中間値がマシンの平均利益 (吐き出されるお金の平均量) です。幅は総プレイ回数の対数に比例し、そのマシンでのプレイ回数に反比例します。複数のスロット マシンに直面して、毎回最大の上限を持つマシンを選択します。
クリエイティブ素材選択のシナリオでは、素材ごとに、素材の多重露出の収益 (報酬) + 素材の信頼区間の幅 (ボーナス) を使用して、区間の上限 (スコア) を計算します。各露出の最高スコアを持つ素材。
このうち、報酬は、特定の素材の累積露出の総合的な収入（CTRの増加と収入の増加など、これらを組み合わせることもできます）であり、ボーナスの計算は、素材の露出数（Imp）に関連しますとすべてのマテリアルの露出回数 (totalImp) を計算すると、式は次のようになります。
ある程度の探索が進むと信頼区間の幅は徐々に小さくなり、このとき報酬も安定する傾向にあり、より総合的なメリットが大きい資料が露出する傾向にあります。特定の素材の露出が少ない場合、総露出数が増加するにつれて、その素材のボーナスが大きくなり、スコアも大きくなり、探索には一定の露出確率も発生します。
UCBに基づいてXiaohongshuの広告クリエイティブの最適な戦略を設計する場合、次の3つの問題を同時に考慮する必要があります。
1. ユーザーエクスペリエンスのバランスをどう取るか?
2. 広告主が最適化コストを節約できるようにするにはどうすればよいですか?
3. ブラウジングの深さは選択にどのような影響を与えますか?
ユーザーエクスペリエンスのバランスを取る方法
小紅書コミュニティはユーザー エクスペリエンスを非常に重視しており、広告表示スタイルの変更はユーザー エクスペリエンスに影響を与える可能性があります。アルゴリズムを設計する際には、ビジネス側の収益最大化を図ると同時に、ユーザーエクスペリエンス指標も考慮する必要があります。
サービス品質（QoS、Quality of Service）を測る総合的な指標として、ユーザーの滞在時間（avgViewTime）を利用していますが、QoSによるユーザーエクスペリエンス（QoE、Quality of Experience）はどのように計算するのでしょうか？
QoE に関する関連調査によると、QoS が低い場合、ユーザーの QoE はすでに非常に低く、QoS が低下し続けたとしても、QoE がさらに低下することはありません。同様に、次の図に示すように、QoS が高い場合、ユーザーの QoE はすでに非常に高く、QoS をさらに改善しても QoE は増加しません。
したがって、得られる QoE の式は次のようになります。
その中には、 動的に調整できる強化係数があります。最後に、UCB の報酬を次のように設定します。
その中には、 滞在時間部分の次元を調整するために使用される ctrの重みがあり 、 平均滞在時間の重みです。
実験の結果、この報酬設計により、ユーザー側の指標が低下しないようにしながら、広告 CTR 指標を大幅に改善できることがわかりました。
広告主が最適化コストを節約するにはどうすればよいでしょうか?
データ分析の結果、最適化に UCB 戦略を使用すると、材料の CTR が短期間でより安定した値に収束し、長期間の観察の後、最適な材料の安定した性能が得られることがわかりました。他の材料よりも優れているため、探査コストを削減するために出口メカニズムの設計を検討できます。写真の選択を例に挙げます。
終了メカニズム: 特定の条件 (十分な露出、クリック数、または範囲内で安定した CTR) を満たすメモに対して、最高の報酬を持つ画像のみを露出することを検討します。同時に、スライディング ウィンドウ時間内で、各画像が確実に一定の露出になるようにしきい値が選択されます。終了メカニズムの実装ロジックは次のとおりです。
実験によれば、出口メカニズムを備えた UCB 最適化戦略は探索回数を減らし、広告主の最適化コストを節約し、プラットフォームの収益にプラスの効果をもたらすことができます。(注: 終了メカニズムは静的マテリアルにのみ適用され、マテリアル間の報酬の違いは明らかである必要があります)
広告の閲覧深度は選択にどのように影響しますか?
検索シナリオでは、ユーザーは特定の情報を探すという強い目的を持っており、閲覧の深さが増すにつれて、ユーザーが蓄積する情報が増えるほど、資料をクリックする必要性が低くなります。したがって、広告がさまざまな場所で公開されると、そのクリック率は大きく変化し、報酬のクリック率部分に大きな影響を与えます。この場合、広告ピットに基づいて CTR を補正することを検討します。
COEC (Click on Expected Click) は、2 つの材料の品質を測定するために業界で一般的に使用されており、さらに、露光ピットの異なる 2 つの優先要素間の差を測定できます。計算方法は次のとおりです。
このうち、 n番目のピットの露出、
n番目のピットのクリックボリューム、
n番目のピットのクリックスルーレートを表します。
しかし、私たちのシナリオでは、UCB 戦略での報酬の計算を容易にするために、この差が ctr に起因すると期待しています。これには、追加のハイパーパラメータを追加して COEC 値を ctr にマッピングし、その分布が近似であることを確認する必要があります。制御不能の程度。
現在のビジネス状況に基づいて、私たちは ECOI (Expected Click on Impression) と呼ばれる CTR ピットを修正する手法を革新的に提案しました。
ECOI (Expected Click on Impression) : COEC (さまざまなピット位置の平均 Ctr に基づいて予想されるクリック数を計算する) の考え方に基づいて、すべての位置でのクリックが校正され、最初の位置と一致します。方法は次のとおりです。
ECOI は ctr を修正することもできます。COEC と比較して、その意味と値の範囲は基本的に実際の ctr と一致しているため、モデル内の ctr を直接置き換えることが便利であり、ハイパーパラメーターを導入して ctr とのマッピング関係を見つける必要はありません。 。ただし、ECOI にも欠点があり、特定のピットで調整されたクリック数に注目すると、その値が露出数よりも大きくなる可能性があります (特に、露出数が多い広告システムでは、このようなことが起こる可能性は非常に小さいです)。クリック数は露出数よりもはるかに小さいため、無視できます)。
比較実験の結果、 ECOIを使用した実験群の効果はCOECを使用した場合よりもわずかに優れており、ピット補正を行わない場合の効果よりもはるかに優れていることがわかりました。
UCB は事後データからのフィードバックに依存していますが、多くのクリエイティブ素材 (カバー画像やタイトルを含む) がロングテールで配信されており、限られた時間内で十分なフィードバック データを収集して信頼できる結果を得ることができない場合があります。そこで、創造的な汎化機能を補うために、大規模な離散値 DNN モデルを構築しました。
さらに、人気のあるクリエイティブ素材については、ユーザーのパーソナライゼーションもモデルに考慮しているため、システムは数千人を選択する機能を備えており、選択効果がさらに向上します。
汎化能力を向上させる方法
特徴量は大規模離散値 DNN の学習基盤です。プロジェクトの最初のフェーズでは、クリエイティブな素材とユーザーを注意深く特徴付け、強力な一般化機能とパーソナライゼーション機能を備えたモデルを構築しました。
● クリエイティブ素材の一般化:画像カテゴリ、OCR 結果、テキストのセグメンテーション、エンティティの単語など、基本的なクリエイティブの一般化機能を調べます。一方では、モデルが自明の特徴に過剰適合するのを防ぎますが、他方では、自明の特徴が完全に収束していないコールド スタート段階での新しいアイデアに対して、汎化特徴は対応する情報を提供できます。予測効果を向上させるため。
● ユーザーのパーソナライズされた特徴付け:クリエイティブな側面機能を使用してユーザーの興味を特徴付け、ユーザーが履歴内でクリックしたメモの画像 ID に基づいてクリック動作シーケンスを構築し、画像 ID の一般化された特性を使用してユーザーの動作シーケンスを拡張します。 、OCR シーケンス、画像カテゴリ、ヘッド シーケンス、エンティティ ワード シーケンスなどを含む。さらに、画像の各特徴次元におけるユーザーの一般化された特徴シーケンスに基づいて、各シーケンスに表示される上位 3 つの特徴を取り上げて、ユーザーが最も関心のある特徴を説明します。
● クリエイティブ側の機能のクロスオーバー:ユーザー側の機能と現在のクリエイティブの機能をクロスオーバーして、現在のクリエイティブに対するユーザーの好みを特徴付けます。機能のクロスオーバーにより、パーソナライズされた予測におけるモデルの候補クリエイティブの識別を強化できます。クエリでは、現在のクエリの OCR によって認識されたテキストとクリエイティブ タイトルと候補画像が、文字粒度、単語粒度、エンティティ単語で照合されます。ユーザーの行動に関しては、現在の候補画像が、ユーザーの過去のクリック行動シーケンス内の画像カテゴリおよび OCR シーケンスと照合されます。
コンピューティングのスケーリングの問題を解決する方法
ディープモデルの推論粒度はメモよりも深いマテリアルレベル、つまりメモには複数のタイトルや写真の候補が含まれることになりますが、モデルの予測精度を高めるために、タイトルと写真のデカルト積を実行します。 . 推論により、モデルはタイトル画像の最適な組み合わせを直接選択できます。しかし、これにより、モデル推論の計算の複雑さも一桁増加します。
この計算レベルでモデル推論を実行するために、次のように、モデルの予測効果を確実にするためにカスケード ツインタワー構造を設計しました。
● 2 タワー モデルの左側のタワーは、完全なクリックスルー率モデル構造です。入力層は広告機能の埋め込みのみを受け取ります。モデル構造は、右側のタワーよりも複雑さとパラメーターの量がはるかに大きくなります。
● 右側は浅い DNN ネットワークで、入力層はクリエイティブ側の機能の埋め込みを追加します。同時に、左側の広告塔の出力と上部の隠れ層ベクトルを右側の塔に渡し、クリックスルー率に関するクリエイティブな特徴の学習をガイドします。
● トレーニング中、右側のタワーは左側のタワーから情報を受信し、創造的な機能を統合して一緒に学習します。右側のクリエイティブ タワーの勾配は左側のタワーには戻されず、左側のタワーが広告の全体的なパフォーマンスを学習し、機能やトレーニングに関するクリエイティブ機能に関する情報が含まれないようにします。
● オンライン推論中、各広告は左側の広告タワーに対して 1 回だけ計算され、N クリエイティブのクリックスルー率は右側のクリエイティブ タワーに対して計算されます。クリック率モデルと比較して、Nクリエイティブタワーの計算量が増加するだけであり、クリエイティブ拡張による計算量の爆発を回避します。
クリエイティブ側の機能が少ないため、ID タイプの機能に過剰適合しやすくなります。クリエイティブ側のネットワーク構造を改良しました。
● クリエイティブ特徴量は、SENet を使用して各特徴量の埋め込みベクトルの重みを学習します。
● 画像 ID 機能については、SENet に追加の正則化が追加され、ID 機能の影響を軽減するために適応ドロップアウトが追加されます。
● 汎化機能については、広告側から渡された user_id、クエリ、エンベディングを追加してマージし、DeepNet を使用して、クリエイティブ側の汎化機能の埋め込みにより、クリエイティブ機能と広告機能の交差能力を強化します。
深層最適化モデルは、一般化およびパーソナライゼーション機能により、広告クリエイティブの最適化効果をさらに向上させます。
1 年以上にわたる厳しい反復を経て、Xiaohongshu の商品化はインテリジェントクリエイティブテクノロジーのいくつかの基本機能の構築を完了し、顧客による使用が形になり始めています。今後もクリエイティブ制作、マルチモーダル理解、最適戦略、最適モデル等の技術革新と能力向上を行ってまいります。
この記事の執筆者：ビジネステクノロジー部（順不同）
リャオ・ファン (リー・ペイロン) ユー・ボー (カン・チャオミン) ヘンリー (チャン・バオル)
Laoban (郭泰) Shenzong (謝明チェン) Qiu Ge (鄧永超)
Kunpeng (Wang Jincheng) Treasure House (Zhang Jingpeng) 特別映像 (Huang Yanhua)