【论文精读】クラウドソーシング プラットフォームにおけるタスク配置のためのエンドツーエンドのディープ RL フレームワーク

序文

ICDE 2020 の作品で、深層強化学習手法をクラウドソーシング プラットフォームにより適切に適用してプラットフォームの利点を最大化する方法についての記事です。問題を解決するための記事のアイデアは学ぶ価値がありますが、手法はまだ単純すぎて多くの改善点があります。また、実験的な部分も議論の対象となります。

---

論文: https://arxiv.org/pdf/1911.01030.pdf
コード:オープンソースではありません。https: //github.com/JasonZhujp/RL-Crowdsourcingを参照してください。

概要

この論文はタスク指向の深層強化学習フレームワークを提案します. これまでの研究は教師あり学習手法に基づいていますが, ワーカーまたはリクエストを個別に考慮するだけであり, 動的環境を扱うことができません. この論文で設計された DQN ネットワークは、現在と将来の報酬の両方を考慮して、推奨タスクの予想される長期的な利益を推定でき、リアルタイムで更新できます。さらに、2 つの DQN ネットワークは、ワーカーとリクエスターの利点を同時に取得して、プラットフォームの利点を最大化するように設計されています。

I.はじめに

クラウドソーシングのタスクでは、依頼者がまずタスクを公開して報酬を与え、ワーカーが到着すると、プラットフォームがオプションのタスクのリストを表示し、タスクが一定の基準に従って分類されます。最後に、ワーカーはタスクを 1 つだけ選択できます。

上の図は、タスクの単純な並べ替えを示しています。利用可能なタスクが多数あるため、手動でタスクを選択するのは面倒であるため、パーソナライズされた推奨事項を実現するために、KNN 分類や確率行列分解などのいくつかの教師あり学習タスクが提案されています。ただし、これらの方法ではワーカーとリクエスタを別々に考慮しているだけであるため、一部のタスクが完了しなかったままになったり、タスクの配分が不公平になったりするため、両者の間のトレードオフが必要になります。さらに、環境は労働者の好みやタスクの品質と同様に動的に変化しますが、教師あり学習ではそのような変化を更新できず、推奨タスクに対する長期的な報酬が無視されるため、最適とはいえない結果が得られます。
上記の問題に対処するために、著者らは、環境 (ワーカーとリクエスター) とエージェント (プラットフォーム) の間の相互作用を MDP としてモデル化する、タスク割り当てのための深層強化学習アーキテクチャを提案します。著者らは DQN を適用してニューラル ネットワークをトレーニングし、各タスクの推奨に対する報酬を推定します。報酬は各作業者のフィードバックに基づいてリアルタイムで更新できます。
ただし、DQN はユーザーとアイテム間の関係をモデル化するだけであり、このペーパーのタスクでは、利用可能なすべてのタスク間の関係も考慮する必要があります。環境の情報を取得するために、ワーカーの機能と現在のタスクを組み合わせる新しい表現方法と、不確実なサイズと順列不変性の機能を持つ利用可能なタスクのセットを処理する特定の Q ネットワークを設計します。
さらに、ワーカーとリクエスターには異なる利益目標があるため、2 つの個別の MDP を設計する必要があります。このため、著者は 2 つの DQN ネットワークを設計して 2 つの利益をモデル化し、最終的に 2 つの組み合わせ (妥協点に相当) を設計しました。両者の利益の間）。
このプロジェクトでは、DNQ ネットワークは状態遷移行列がまばらであるという問題にも直面しています。これにより、遷移確率が不確実になり、収束が遅くなります。この問題に対処するために、著者らは作業者のフィードバックを得た後に Q 値方程式を修正し、遷移行列と将来の状態を明示的に予測しました。
この論文の貢献は次のとおりです。

1. この論文は、クラウドソーシング プラットフォームへの深層強化学習の適用を初めて提案したものです。
2. DQN を適用して当面および将来の報酬を処理すると、長期的にはワーカーとリクエスターの目標が最適化されます。
3. Q 値を計算するための方程式を修正し、遷移確率と将来の状態を明示的に予測する新しい状態表現が考案されました。

II. 問題文

A. 問題の定義

タスクの目的は、新入社員に推奨タスクのリストを提供し、タスクを割り当てることです。

B. 民主党としての問題形成

2 つの MDP を定義します。

民主党(w)

ワーカーの MDP は、各タイムスタンプ$\{1、2、...、i\}$，一个工人$w_{}$到着すると、リクエスターによってリリースされた一連の利用可能なタスク$\left\{T_{}\right\}$。

• 状態$s_{}$wi w_iとして定義されます$w_{}$最新の完了履歴、つまり状態の表現はworker $w_{}$的特征，$f_{s_{}}=f_{w_{}}$。
• アクション${ある}_{}$即向$w_{}$利用可能なタスクを提供します。タスクの推奨と一連の並べ替えタスクの推奨には違いがあります。
• 奖励$r_{}$状態とアクションのペアによって決定されます。$r_{}=1$说明$w_{}$タスクを完了します。それ以外の場合は$w_{}=0$。
• 同じ従業員が$w_{}$到着、将来の状態$s_{私+}$起こる。ri = 1の場合$r_{}=1$、ワーカーの特徴$f_{w_{}}$fsi + 1 f_{s_{i+1}}に更新します$f_{s_{私+}}$。
• 转移$Pr(s_{私+}|s_{}、{ある}_{}、r_{})$はsi s_iから導出されます。$s_{}$si + 1 s_{i+1}に転送$s_{私+}$の確率は、$w_{}$完成任务${ある}_{}$報酬。
• 割引係数$c\in [0,1]\; は、$将来の報酬が当面の報酬に対してどれだけ重要であるかを決定します。

世界的な目標は、従業員の累積完了率を最大化することです。

MDP®

要求者の MDP が異なります。

• $f_{s_{}}=[f_{w_{}}、f_{T_{}}、q_{w_{}}、q_{T_{}}]$。
• ${ある}_{}$MDP(w)と同じ。
• 奖励$r_{}$由$(s_{}、{ある}_{})$决定。$r_{}$是工人$w_{}$ミッションを完了すると大量のバフが得られます。
• 转移$Pr(s_{私+}|s_{}、{ある}_{}、r_{})$ wi w_iに依存します$w_{}$タスクを完了することによる成功率と品質の向上。
• 割引率はMDP(w)と同じです。

全体的な目標は、タスクの累積質量増加を最大化することです。

述べる

ワーカーの利益を最大化するには、ワーカーとタスク、および利用可能なすべてのタスクの間の関係を調査する必要があるため、MDP® の状態はワーカーと現在利用可能なタスクで構成されます。2 つの MDP の状態定義を統合するには、MDP(w) の代わりに MDP® を使用します。これは、これらの MDP には包含関係があるためです。

C. RL と Deep Q-Network

1) Qラーニング

Q-Learing は、最適な戦略を取得するために 2 セットの値関数を定義する、値関数ベースのモデルフリーの強化学習アルゴリズムです。$V^{\pi }\left(s\right)$を不変とし、$V^{\pi }\left(秒\right)=E\left[{\sum }_{i=0}^{}{c}^{そして}{r}_{}|s_{}=、\_\pi \right]$は、状態とポリシーを考慮した場合の期待される報酬です。同様に、Q 値関数$Q^{\pi }(s,a)\; は、$特定の状態とアクションで期待される報酬です。ここで、$Q^{\pi }(s,）\_=E\left[{\sum }_{i=0}^{}{c}^{そして}{r}_{}|s_{}=、\_{ある}_{}=、\_\pi \right]$。
Bellman 方程式に基づく、最適な Q 値関数$Q^{\ast }(s,a)$における最優先の戦略略以下:
$Q^{\ast }(s_{}、{ある}_{})=E_{私+}\left[r_{}+\gamma max{\_}_{{ある}^{}}{Q}^{\ast }(s_{私+}、{ある}^{\text{'}})|s_{}、{ある}_{}\right]$
各状態で最大の Q$Q(s,a)$的动作${ある}_{}$Q ( si , ai ) Q(s_i,a_i) を反復的に学習するには$Q(s_{}、{ある}_{}$次の更新：$Q$
$Q(s_{}、{ある}_{})\leftarrow (1-a)Q(s_{}、{ある}_{})+a(r_{}+\gamma max{\_}_{{ある}^{}}Q(s_{私+}、{ある}^{\text{'}}))$
ここで、$ある\in [0,1]$は学習率です。

2) ディープ Q ネットワーク

状態および動作空間は巨大で保存できないため、一般的な方法はフィッティングに高度に非線形の関数、つまり$Q^{\ast }(s_{}、{ある}_{})\approx Q(s,;\_\theta )$であるため、DQN はθ \thetaのパラメーターを使用することを提案します。$\theta$のニューラル ネットワークはQ ネットワークとして機能します。次のように平均二乗損失関数を最小化することで学習します。
$\begin{array}{rl}L\left(i\right)& =E_{\{\left(s_{}、{\_}_{}、r_{}、s_{私+}\right)}\left[{(y_{}-Q(s_{}、{ある}_{};私））}^2\right]\\ y_{}& =r_{}+c\underset{{ある}_{私+}}{}Q(s_{私+}、{ある}_{私+};私\end{array}$
其中$\{(s_{}、{ある}_{}、r_{}、s_{私+})\}\; は$、時間順にソートされた大規模なメモリ バッファに保存された履歴データであり、損失関数を導出することで、勾配の更新は次のように記述できます。 ∇ θ
$\begin{array}{rl}{\nabla }_{}L\left(i\right)& E_{\{\left(s_{}、{\_}_{}、r_{}、s_{私+}\right)}[(r_{}+c\underset{{ある}_{私+}}{}Q(s_{私+}、{ある}_{私+};私）-Q(s_{}、{ある}_{}|私））{\nabla }_{}Q\left(s_{}、{ある}_{}|(i\right)\end{array}$

Ⅲ．概要

上の図はフレームワーク全体を示しており、状態表現には$w_{}$そして、利用可能なタスク セットを、状態 Transformer に入力して取得します。つまり、$f_{s_{}}=州立トランスフォーマー[f\_\_\_\_\_\_\_\_\_\_{}_{w_{}}、f_{T_{}}]$。
次に、$f_{s_{}}$2 つの深い Q ネットワーク、Q-network(w) と Q-network® に入力します。これらは、それぞれワーカーとリクエスターのペイオフを考慮します。著者はアグリゲーターとバランサーを使用して 2 つのペイオフを結合し、$w_{}$。
従業員にタスクが割り当てられると、そのタスクを完了するかスキップするかを選択できます。作業者が一連のタスクを見た場合、作業者はカスケード モデルに従ってタスクのリストを参照し、関心のある最初のタスクを完了すると想定します。フィードバックは、完了したタスクと未完了の推奨タスクです。
MDP(w) と MDP® では報酬の定義が異なるため、2 つのフィードバック トランスフォーマーを使用して従業員のフィードバックを定量化します。過去のデータ統計に基づいて、2 つの将来状態予測子がそれぞれ Q-Network(w) と Q-Network® に使用されます。
アクションがタスクを割り当てることである場合は、遷移$(s_{}、{ある}_{}、r_{}、s_{私+})$を収納スペースに入れます。アクションが提案されたタスクのリストである場合、フィードバックには完了したタスクと未完了の提案されたタスクが含まれます。この時点で成功した転送を保存します$(s_{}、{ある}_{}、r_{}、s_{私+})$および失敗した遷移$(s_{}、{ある}_{}、0、s_{私+})$，二者的${ある}_{}$違う。2 つの Q ネットワークは、最適な戦略を取得するためにストレージが転送されるたびに更新されます。

IV. MDP(W)用モジュール

A. 機能の構築

タスク$t_{}$**特徴: **クラウドソーシング シナリオにおける上位 3 つの動機は、報酬、タスクの自律性、スキルの多様性であるため、機能には報酬、カテゴリ、および分野が採用されています。ワンホット エンコーディングを使用してカテゴリとドメインを変換します。次に、これら 3 つが連結されて、タスクの特徴ベクトルが取得されます。
労働者$w_{}$** 特徴: ** ワーカーが最後に完了したタスクによって決定されます。

B. ステートトランスフォーマーと Q ネットワーク

1) 課題

タスクは動的であり、数を決定するのが難しく、モデル化されたモデルは順列不変 (順列不変)、つまりタスクの順序の影響を受けない必要があるため、利用可能なタスクを特徴付けるのは困難です。
一部の DQN ベースのメソッドでは、タスクとワーカーを個別にモデル化しますが、利用可能なすべてのタスク間の関係は無視されます。実際、タスクは影響力を求めて互いに競合します。したがって、利用可能なタスクに合わせて新しい表現を設計する必要があります。

2) デザイン

著者が設計した状態 Transformer と Q ネットワークを上に示します。まず、使用可能なすべてのタスクとワーカーの機能を連結し、ゼロ パディングで埋められない最大長を設定します。次に、線形層とマルチヘッド アテンション メカニズムへの入力は$f_{s_{}}$これは Q 値にマッピングされ、順列の不変性を保証します。線形層は次のように計算されます:
$rFF\left(X\right)=電車(XW+b)$
注目層の構造は図 4 に示されており、その入力は 3 つの行列${バツ}_{}、{バツ}_{}、{バツ}_{}$，計算：
$それ(X_{}、{バツ}_{}、{バツ}_{})=ソフトマックス\left(\frac{{バツ}_{}{バツ}_2^{}}{\sqrt{d}}{バツ}_{}\right)$
マルチヘッド アテンション レイヤーは 3 つの行列を$h$の異なる行列。出力は、すべてのアテンション出力を連結した線形変換です。
$\begin{array}{rl}& \mathrm{マルチヘッド}\left(X_{}、{バツ}_{}、{バツ}_{}\right)=\mathrm{連結}\left({\text{ 頭 }}_{}、\dots 、{\text{ 頭 }}_{}\right)W^{○}\\ & {\text{ 頭はどこ }}_{}=に\left(X_{}{W}_{私}^{{バツ}_{}}、{バツ}_{}{W}_{私}^{{バツ}_{}}、{バツ}_{}{W}_{私}^{{バツ}_{}}\right)\\ & \end{array}$
付録には、線形層と多頭自己注意層の順列が不変であるという証明が含まれています。
次にQネットワークの設計です。入力$f_{s_{}}$タスク$t_{}$和工人$w_{}$最初の 2 つの rFF 層は、タスク ワーカーの特徴を高次元の特徴に変換するために使用され、次にマルチヘッド アテンション メカニズムを使用して、異なるタスク ワーカーの特徴のペアごとの相互作用を計算します。rFF 層は、ネットワークの維持に役立ちます。安定しています。続いてセルフアテンション層の別の層が続き、最後の rFF 層は各要素の特徴を値に還元し、これを使用して Q ( si , $Q(s_{}、t_{}）$。順列不変性により、$t_{}$Q ( si , tj ) Q(s_i,t_j) の順序$Q(s_{}、t_{}）$は変わりません。

C. アクション A、フィードバックと報酬 R

報酬主導型の労働者は、単位時間あたりのタスクに対して高い報酬を得ることを目指しますが、興味主導型の労働者は、自分の興味に合ったタスクを完了したいと考えます。このペーパーの課題は、さまざまなタイプの作業者に必要なものを実行させ、推奨されたタスクの完了率を最大化することです。
プラットフォームがタスクを割り当てる場合は、${ある}_{}=t_{}$满足$Q(s_{}、t_{}）$。著者は、ワーカーがカスケード モデルに従ってタスク リストを表示すると想定しているため、プラットフォームによって推奨されるタスクは$Q(s_{}、t_{})$タスクのリストを降順に並べ替えます。
フィードバックと報酬については、アクションが単一のタスクの場合、選択は 1、拒否は 0 です。アクションが k 個のタスクのリストの場合、報酬は完了したタスクの場合は 1、残りのタスクの場合は 0 です。

D. 将来の状態、記憶保存者、および学習者

1) 課題

次の状態$s_{私+}$w_{i}と同じ労働者です$w_{}$再び来るタイムスタンプ。したがって、$r_{}$と将来の状態$s_{私+}$Q のタイムスタンプは異なり、ワーカーが再び来るまでに長い時間がかかる可能性がありますが、Q ネットワーク内のパラメータはすべてのワーカーによって共有されるため、新しい更新によりパフォーマンスが低下する可能性があります。したがって、著者は、 ( si , ai ) (s_i,a_i)
を取得することにより、予測器 (w) を設計しました。$(s_{}、{ある}_{})$遷移確率を予測するためのフィードバックと報酬$Pr(s_{私+}|s_{}、{ある}_{}、r_{})$と将来の状態$f_{s_{私+}}$。これにより、フレームワークはオンライン変更とリアルタイム対話の要件を満たすことができます。

2) デザイン

まず、すべてのワーカー機能は$r_{}$更新します。
2番目、$T_{}$和$T_{私+}$変更のほとんどは、完了したタスクから発生します。
${時間}_{私+}$は確率的であり、その分布を環境から学習する必要があります。過去のデータによると、次の図に示すように、同じ作業者の到着にはパターンがあることがわかります。

作業者は、短期間または 1 ～ 2 日後に再び来ることがわかります。後で。このパターンを捉えるために、著者らは関数$\varphi \left(g\right)$、ここで$g$は時間ギャップであり、$\varphi (g={現在の時刻-最終到着時刻}_{}）$は労働者です$現在w$が再び来る確率。g の範囲が設定されている場合、$g\in [1、10080]$、範囲外は無視されます。$\varphi \left(g\right)$は履歴データによって初期化され、新しいサンプルに基づいて反復的に更新されます。
最終${時間}_{私+}$Timei + ϕ ( g ) \mathrm{Time}_{i}+\phi(g)の分布${時間}_{}+\varphi \left(g\right)$。
学習者はメモリに保存された転送を通じて Q ネットワークのパラメーターを更新します。損失関数は次のように記述できます。
$\begin{array}{rl}L\left(i\right)& =E_{\{\left(s_{}、{\_}_{}、r_{}\right)}\left[{(y_{}-Q(s_{}、{ある}_{};私））}^2\right]\\ y_{}& =r_{}+c\underset{g}{}\mathrm{広報}\left(s_{私+}|g\right)\underset{{ある}_{私+}}{}Q(s_{私+}、{ある}_{私+};私\end{array}$
その中$\mathrm{広報}\left(s_{私+}|g\right)=\varphi \left(g\right)$。実際のところ、${\mathrm{最大}}_{{ある}_{私+}}Q(s_{私+}、{ある}_{私+};\theta )\; は$g ごとに計算する必要はありません。この値はタスクの有効期限が切れると変化するため、$マ{\times }_{}$二流。
ここで著者は、Q 値の過大評価を防ぐために DDQN アルゴリズムも使用しています。つまり、同じ構造$Q$和$Q$，评估動作の式子例：
$y_{}=r_{}+c{\sum }_{}\mathrm{広報}\left(s_{私+}|g\right)\tilde{Q}\left(s_{私+}、arg\_{\mathrm{最大}}_{{ある}_{私+}}Q(s_{私+}、{ある}_{私+}|私）|\widetilde{私}\right)$
勾配の下降は次のように記述できます:
$\begin{array}{rl}& {\nabla }_{}L\left(i\right)=E_{\{\left(s_{}、{\_}_{}、r_{}\right)}[r_{}+c\underset{g}{}\mathrm{広報}\left(s_{私+}|g\right)\\ & \tilde{Q}\left(s_{私+}、arg\_\underset{{ある}_{私+}}{}Q(s_{私+}、{ある}_{私+}|私）|\widetilde{私}\right)-Q\left(s_{}、{ある}_{}\right)]{\nabla }_{}Q(s_{}、{ある}_{}\end{array}$

V. MDP® 用モジュール

A. 機能の構築

著者らはまた、ワーカーとタスクの質を利用して、要求者の報酬を予測します。Dixit-Stiglitz 優先モデルを使用して、副作用に応じてタスクqtj q_{t_j}の品質を計算します。$q_{t_{}}$つまり、完了したタスクの数が増えるにつれて、タスクの品質の変化は少なくなります。
$q_{t_{}}=\left({\sum }_{私\in {私}_{t_{}}}\right(q_{w_{}}{)}^p{)}^{1/p}、p\ge 1.$
ここで、p は増加の限界効用を制御します。

B. ステートトランスフォーマーと Q ネットワーク

状態 Transformer は Q ネットワークおよび W モジュールと同じですが、2 次元のみです ( $q_{w_{}}$そして$q_{t_{}}$) が入力に追加されます。

C. アクション A、フィードバックと報酬 R

アクションは前と同じです。タスクを割り当てる場合は、$Q_{}(s_{}、t_{})、$リストを推奨する場合、リストは$Q_{}(s_{}、t_{})$サイズごとに並べ替えます。依頼者の観点から見ると、目標はタスクの期限内にできるだけ高品質の結果を得ることです。

D. 将来の状態、記憶保存者および学習者

1) 課題

MDP(w) とは異なり、MDP® では次の作業者が早く到着します。しかし、著者は、実際のワーカーを使用すると$w_{私+}$和$T_{私+}$状態$s_{私+}$の場合、DQNは集まりにくくなります。次のワーカーが変化すると、さまざまな状態と遷移行列がまばらになり、遷移の確率と収束が不確実になります。したがって、Q-network® は、実際の次のワーカーではなく、次のワーカーの期待を使用してトレーニングされます。

2) デザイン

得到$(s_{}、{ある}_{})$フィードバックと報酬、最初にワーカーの機能$f_{w_{}}$、完了したタスク機能の品質の更新に加えて、タスクの品質はすべてのワーカーの影響を受けます。将来の状態予測機能は、次のタイムスタンプを推定し、期限を過ぎたタスクをチェックするだけでなく、次のワーカーを予測する必要もあります。最初にTimei + 1 Time_{i+1}
を予測する方法を説明します。$時間\_{\_}_{私+}$。

上の図は、2 つの連続した到着間の時間間隔の分布を示しています。これはロングテール分布を満たしています。これは、作業者がタスクを完了するために頻繁にプラットフォームに到着することを意味します。さらに、著者は関数$\phi \left(g\right)$、 g は Q-network(w) と同じで、時間間隔を表します、$\phi (g)\; は$、次の作業者が時間間隔 g で到着する確率を表します。$\phi \left(g\right)$も履歴データに基づいて構築され、新しいサンプルの到着に応じて繰り返し更新されます。時間 + 1 時間
を知る$時間\_{\_}_{私+}$その後、入ってくる労働者の分布を計算できます。現在ワーカー$f_{}$、現在のワーカーの時間ギャップ$\varphi \left(g_{}\right)$、著者は古い労働者の特徴を新しい労働者を表すために使用します。最後に、次のワーカーを正規化して積分して確率を取得します。
$\mathrm{広報}(w_{私+}=ｗ）=\{\begin{array}{ll}\left(1-p_{}\right)\frac{\varphi (g_{}}{{\sum }_{w^{\in }W\_{}^{}}\varphi \left(g_{w^{}}\right)}& \text{ いつ }w\in W^{\text{年 }}\\ p_{}& w\text{ が }\end{array}$
ggを与えられた$g$和$w_{私+}$、$T_{私+}$和$s_{私+}$，$learner\left(r\right)$，我们的损失関数数写:L ( θ ) = E { ( si , ai , ri ) } [ ( yi − Q ( si , ai ; θ ) ) 2 ] yi$=$$ri$
$\begin{array}{rl}L\left(i\right)& =E_{\{\left(s_{}、{\_}_{}、r_{}\right)}\left[{(y_{}-Q(s_{}、{ある}_{};私））}^2\right]\\ y_{}& =r_{}+c\underset{g}{}\underset{w_{私+}}{}\mathrm{広報}\left(s_{私+}|g、w_{私+}\right)\tilde{Q}(s_{私+}、arg\_\underset{{ある}_{私+}}{}Q(s_{私+}、{ある}_{私+}|私）|\widetilde{私}\end{array}$
ただし、$Pr\_\left(s_{私+}|g、w_{私+}\right)=\phi \left(g\right)Pr\left(w\right){}_{私+}|g)$に対応する、勾配は次のようになります:
$\begin{array}{rl}& {\nabla }_{}L\left(i\right)=E_{\{\left(s_{}、{\_}_{}、r_{}\right)}[r_{}+c\underset{g}{}\underset{w_{私+}}{}\mathrm{広報}\left(s_{私+}|g、w_{私+}\right)\\ & \tilde{Q}\left(s_{私+}、arg\_\underset{{ある}_{私+}}{}Q(s_{私+}、{ある}_{私+}|私）|\widetilde{私}\right)-Q\left(s_{}、{ある}_{}\right)]{\nabla }_{}Q(s_{}、{ある}_{}\end{array}$
でもすべての$g$和$w_{私+}$可能な Q 値の計算には時間がかかります。高速化するには 2 つの方法があります。1 つの方法は、可能なワーカーの数を制限し、発生確率の低いワーカーを除外することです。もう 1 つのアプローチは、考えられるすべてのワーカーの機能期待値を計算する代わりに使用することです。次のワーカーの特徴期待値は$f_{w_{私+}}={\sum }_{w_{私+}}Pr(w_{私+}|g)f_{w_{私+}}$の場合、将来の状態特徴の期待値は$f_{s_{私+}}=[f_{w_{私+}}、f_{T_{私+}}]$。

VI. MDP(W) と MDP® の統合

A. アグリゲーターとバランサー

Q-network(w) と Q-network® に基づいて、利用可能なタスクごとにQ w ( si , tj ) Q_w(s_i,t_j)を取得します。$Q_{}(s_{}、t_{})$和$Q_{}(s_{}、t_{})$、2 つに重み付けして$Q(s_{}、t_{})=w{Q}_{}(s_{}、t_{})+(1-w)(s_{}、t_{}）$。

B. エクスプローラー

最も単純な強化学習探索戦略は$ϵ$ -貪欲、つまり$確率ϵ$ ,$1-ϵ$の確率は Q 値サイズの推奨タスク リストに従いますが、この方法は 1 つのタスクを推奨する場合にのみ適しており、マルチタスクのシーンはランダムすぎて適切に実行できません。この記事は Q 値を直接無視しているのではなく、$ϵ$がQ 値に$v.vv$ _$v\; は、$平均 0、同じ分散および Q 値の正規分布を満たします。さらに、Q ネットワークが比較的成熟している場合、著者は減衰係数を使用して標準偏差を乗算し、ランダム性を低減します。

VII. 実験

A. 実験設定

1) データセット

この記事のデータは、商用クラウドソーシング プラットフォーム CrowdSpring から収集された実際のデータであり、著者は 2018 年 1 月から 2019 年 1 月までのすべての公開タスク情報をクロールしました。データの詳細には、開始日、期日、カテゴリ、サブカテゴリ、ドメイン、タスクを完了した作業者間の関係が含まれます。以下のグラフは、月ごとの新規タスクと期限を過ぎたタスク、および毎月到着する従業員の数と完了するために選択できるタスクの数を示しています。

さらに、労働者の到着密度と労働者の質の分布を考慮するためにデータセットが合成されます。
評価指標は以下の通りです。

2) 評価尺度

労働者の利益:

• ワーカー完了率 (CR): プラットフォームによって推奨されるタスクについて、ワーカーの累積完了率、つまり次のとおりです。

$CR=\frac{{\sum }_{}{y}_{}}{番号の合計タイムスタンプ}$

• nDCG-CR: 評価では一連のタスクが推奨されます。

$DCG\_\_-CR=\frac{{\sum }_{}{\sum }_{r=1}^{n_{}}\frac{}{log(1+r)}{y}_{私{は}_{}}}{\text{ タイムスタンプの合計数 }}$

• Top-k 完了率 (kCR): 推奨リストの並べ替えの長さを制限し、ワーカーは最初のタスクを完了します。

$KCR=\frac{{\sum }_{}{\sum }_{r=1}^{}\frac{}{log(1+r)}{y}_{私{は}_{}}}{\text{ タイムスタンプの合計数 }}$
依頼者のメリット:

• タスク品質ゲイン (QG): タスク品質の累積ゲインを計算します。

$品質管理={\sum }_{}{g}_{}={\sum }_{}{q}_{t_{}}^{}-q_{t_{}}^{}$

• nDCG-QG: nDCG-CR と同じですが、タスクのランキングに異なる重みを割り当てます。

$DCG\_\_-QG={\sum }_{}{\sum }_{r=1}^{n_{}}\frac{}{log(1+r)}{y}_{私{は}_{}}{g}_{私{は}_{}}$

• Top-k タスク品質ゲイン (kQG): 同様に、推奨リストを k 個のタスクに制限します。、

$KQG={\sum }_{}{\sum }_{r=1}^{}\frac{}{log(1+r)}{y}_{私{は}_{}}{g}_{私{は}_{}}$

3) 競合他社

私たちの方法を他の 5 つの方法と比較しました。

• ランダム: タスクをランダムに選択します。
• Taskrec (PMF): 一様確率行列因数分解に基づいたクラウドソーシング システム用のタスク推奨フレームワーク。労働者の利益のみが考慮されます。
• SpatialUCB/LinUCB: オンライン空間タスク割り当てのための線形信頼限界上限アルゴリズム。
• 貪欲+コサイン類似度: ワーカー特徴とタスク特徴のコサイン類似度を完了率とみなし、完了率に応じてタスクを貪欲に選択またはソートします。
• Greedy+Neural Network: ワーカーとタスクの特徴を 2 つの隠れ層を備えたニューラル ネットワークにフィードして、完了率を予測します。
• DDQN: この論文のフレームワーク。

B. 実験結果 (実際のデータセット)

1) 実施内容

デフォルトでは、作業者は利用可能なすべてのタスクを参照するため、残りのタスクは興味がないと見なされます。
データセットをタスクの作成時間、有効期限、ワーカーの到着時間で並べ替えます。ワーカーのコールド スタートの問題に対処するために、ワーカーが完了した最初の 5 つのタスクを使用して機能を初期化します。
その他のハイパーパラメータ設定については、原文を参照してください。

2) 労働者の利益への配慮

上のグラフは、各月末の各メソッドの QR、kQR、nDCG-QR を示しています。Random の結果は最悪で、Taskrec はタスクとワーカーのカテゴリのみを使用し、他の情報を無視するため、パフォーマンスが低くなります。Greedy CS もワーカーとタスク間の類似性のみを計算するため、パフォーマンスが低くなります。貪欲な NN も目先の報酬しか考慮しないため、パフォーマンスが低くなります。LinUCB は作業者とタスクの情報を活用し、各作業者のフィードバック後にパラメータを更新するため、DDQN に次ぐパフォーマンスを実現します。DDQN は、ニューラル ネットワークを使用してワーカーとタスク間の複雑な関係をモデル化するだけでなく、現在および将来の報酬を予測し、各ワーカーのフィードバック後にパラメータを更新します。したがって、DDQN はすべての競合他社よりも優れています。

3) 依頼者の利益への配慮

以下のグラフは、毎月のタスクごとの個人の品質の向上を示しています。

利益が継続的に増加するわけではないことがわかります。これは、月あたりのワーカー リクエストの数に関係しています。ランダムな方法は依然として最悪であり、Greedy CS は、より高いゲインを伴うタスクをワーカーが完了することを推奨できません。Greedy NN と LinUCB は同様のパフォーマンスを示し、DDQN が依然として最良のモデルです。

4) 給付のバランス

上の図は重み付けゲインの結果です$w$をそれぞれ 0、0.25、0.5、0.75、1.0 に設定すると、QG は 0 ～ 0.25 の範囲でほとんど変化せず、CR は 0.25 ～ 1 の範囲でほとんど変化しないことがわかるので、重み設定は 0.25 になります。最も適切です。

5) 効率

表 1 に各手法の更新時間を示しますが、強化学習モデルの平均更新時間はミリ秒レベルであり、リアルタイム要件を満たしています。

C. 実験結果 (合成データセット)

少し。

Ⅷ. 関連作業

A. 強化学習と深層強化学習

RL 学習により、エージェントは未知の環境で一連のアクションを実行できます。環境はマルコフ決定プロセスとしてモデル化されており、エージェントは探索と既知の知識の間でトレードオフを行う必要があります。RL は 3 つのカテゴリに分類できます。

• モデルフェレ
• モデルベースの
• ポリシー検索

この論文では、モデルフリー法を使用して、ベルマン バックアップを使用して Q 関数を反復的に推定します。

B. クラウドソーシングにおけるタスクの推奨と割り当て

少し。

IX. 結論

この論文では、クラウドソーシング シナリオにおけるタスク スケジューリングのための新しい強化学習フレームワークを提案します。同時に、労働者と依頼者の利益を考慮し、プラットフォームの利益を最大化します。状態、行動、報酬、状態遷移、および将来の状態の新しい表現と組み合わせた深い Q ネットワークを使用して、Q 値の修正された方程式が導出され、実験結果によりフレームワークの有効性が検証されます。
現在のモデルを改善するには 2 つの方法があります。1 つは、現在の方法を深い決定論的ポリシー勾配に置き換えることです。これにより、タスク リストを継続的なアクション スペースにマッピングして、より正確なランキングを取得できます。もう 1 つの問題は、2 人の作業者が同時に来るという競合の問題であり、割り当てられているが完了していないタスクも考慮する必要があります。

概要を読む

強化学習に関する知識が不足しているため、まだ読みにくいですが、全文を読んだ後、特徴構築部分で学習する価値があると思います全体の特徴構築の考え方は非常に明確ですただし、実験部分では、最初の重み付けされた Q 値の重みは 5 つの値のみを考慮しており、厳密さが不十分で、比較のために選択されたモデルが古すぎ、この記事で使用されている DDQN も比較的後進的です。実験部分のランダムの効果は 10 % を超えているため、実験の効果には疑問の余地がありますが、実際には各状態に 50 以上のアクションがあり、アクションは 1 つだけですアクションは正しいので、2% を超えてはなりませんが、ここでは明らかに厳密ではありません。そして、この実験は12か月間の結果をすべてテストしたので、情報漏洩の問題があるはずです。