「鍵となるのは基礎となるモデルではなく、RLHF (ヒューマン フィードバックからの強化学習) やそれと対話するインターフェイスを含む その使いやすさです。」
「RLHF は、人間のフィードバックを使用して調整を行う方法です。最も単純なバージョンは、2 つの出力を表示し、どちらが優れているか、人間の読者がどちらを好むかを尋ね、それを強化学習を使用してモデルにフィードすることです。」
「RLHF は人間が望む目標に合わせてモデルを調整します。」
上記の発言は、OpenAI CEO の Sam Altman (サム アルトマン) が、少し前に MIT の研究科学者 Lex Fridman (レックス フリッドマン) との会話の中で言った言葉です。
ChatGPT がカルテットを壊滅させるにつれて、人類の知識の網羅性と新たな推論能力が賞賛されました。この背後にある重要なリンクはヒューマン フィードバック強化学習であり、これは一連のデータ ラベリング関連の要件にもつながります。
実際、業界におけるデータ アノテーション ツールの研究開発は古くから行われており、Beisai Technology はそのリーダー企業の 1 つです。機械学習の実践者である Du Lin 氏は、2015 年に Beisai Technology を設立し、独自のデータ ラベリング システム Origin1 の開発を開始し、顧客ビジネスを開始したのは 2017 年末になってからでした。北彩は2022年に、Origin1をベースにした「トレーニングデータエンジニアリング」のオープンソースプラットフォームであるXtreme1を構築し、クラウドシステムを構築する。オープンソースの導入から 1 年も経たないうちに、数十人のユーザーがオープンソース製品のユーザーから SAAS 商用製品の顧客に変わりました。
今振り返ると、Beisaiの成長は今回のAIトレンドを微妙に先取りしていたようで、同社のオープンソース製品も商用市場で良い成果を上げている。OSC は、Beisai の創設者である Du Lin を招待し、Beisai の成長とその背後にある物語、現在のデータ ラベリング分野とオープンソースに関する彼の見解について語ってもらいました。
Beisai Technologyの技術研究開発ディレクターであるWang Jiajun氏もGOTC2023に出席し、「Xtreme1次世代マルチモーダルオープンソーストレーニングデータプラットフォーム」に関する基調講演を行い、Xtreme1トレーニングデータプラットフォームの技術的特徴とアーキテクチャを詳細に紹介します。興味のあるパートナーは、下のリンクをクリックしてカンファレンスに登録してください。
カンファレンスの登録については、https: //www.bagevent.com/event/8387611をご覧ください。
「私はエンジニアとオープンソースが世界を変えることができると常に信じてきました。」
コンピューターとの最初の出会いは、母の職場で母のコンピューターを使用していたときでした。その後、両親が私にコンピューターを買ってくれました。当時私は中学生で、独学で勉強し始めました。プログラミングにとても夢中になっていました。
高校1年生の時に同級生2人とロボットチームを結成し、車輪付きロボットを製作して科学技術イノベーション競技大会に出場し、その時はロボットの制御プログラムとビジョンプログラムを担当していました。その後、上海交通大学のコンピュータ専門クラスのA CMクラスに入学し、コンピュータ分野の勉強を続け、機械学習とコンピュータビジョンに対する愛情の基礎を築きました。
実際、私は今でも趣味と仕事の両方でコードを書いています。
私はエンジニアが世界、そしてオープンソースを変えることができると常に信じてきました。私たちがオープンソースを行うのは、オープンソースが世界を変えることができると強く信じているからです。
私が Beisai を設立したのは、私が機械学習の実践者であり、機械学習エンジニアが最も時間を費やすのがトレーニング データであると認識しているからです。OpenAI の最も強力な部分はトレーニング データのエンジニアリング能力であることがわかります。そのエンジニアリングの大部分はトレーニング データに関するものであり、その能力は非常に強力です。
そのため、当時私たちは、機械学習のプロセスを加速するには、業界全体の状況において、クライアントの MLOps から AI トレーナー市場に至るまで、トレーニング データを中心とした完全なシステムが必要であると考えていました。これを機にBesaiを設立しました。Beisai は設立して 6 年が経ち、データラベリング事業は常に中核事業の 1 つであり、その事業から多くのお客様のデータトレーニングにおけるペインポイントを学び、2 年前までのデータラベリング事業を凝縮することにしました。すべての問題点を解決して作成する まったく新しい製品、Xtreme1 が誕生しました。
実際、データのラベル付けの問題は、モデル トレーニングをタイム ノードとして考えると、2 つのカテゴリに分けることができます。1 つの部分はモデル トレーニングの前に行われる作業であり、もう 1 つの部分はモデル トレーニングの後に行われます。データのラベル付けはその前の部分であり、データにラベルを付けてからモデルを構築すると考えるかもしれません。しかし実際には、モデル全体の効果、つまりモデルによってフィードバックされた推論の結果の評価という、より重要な作業がまだ残っており、これには人間によるエラーの修正と機械の修正が必要です。
これら 2 つのデータはモデルにとって非常に重要であり、その一部は基本モデルの構築であり、一部は人間のフィードバック入力によるモデル効果のさらなる向上に相当します。
したがって、機械学習サイクル全体は常に Human In The Loop と切り離すことができませんが、業界の発展に伴い、人間のこの部分の作業はより洗練され、明確になるでしょう。いわゆる明確性とは、最終的には、人間が行う必要のないタスクを機械に実行させ、人間が行う必要のあるタスクのみを人間に実行させるようにいくつかのプロセスを設計できることを意味します。これは、MLOps ツールを構築する際の目標でもあります。
「データラベル付けのパラダイムは変化していますが、本質は変わっていません。」
大規模言語モデル、特に最近出現した大規模言語モデルのバッチでは、RLHF と呼ばれるヒューマン フィードバックからの強化学習が導入されています。
その核心は、大規模なモデルの結果を分類し、答えを修正するヒューマン フィードバックです。本質的に、機械学習は人間の知識を導入して、機械が生成した答えを人間と一致させます。
では、なぜそれが継続的な動作なのかというと、大規模な言語モデルは多数の教師なしモデルに属しており、多くの一般知識を習得しているためですが、非常に垂直的なシーンや、これまで見たことのないコーパスでは、しばしば何かを語っているからです。正しく聞こえるが、実際には間違っている場合 (幻覚)、それは人間によるラベル付けや調整が行われていないためです。
「From Human Feedback」は依然として Human In The Loop です。私の意見では、これは機械学習のライフサイクル全体に伴う継続的な進化です。言い換えれば、データラベリングのパラダイムは変化しましたが、本質は変わっていません。
パラダイムシフトには 2 つの側面があります。
1 つは、人材に対する要件が徐々に増加していることです。Beisai が 6 年前に設立されたとき、2D 画像内の一般的なオブジェクトに対するオブジェクト検出タスクはまだ多く、一般的なオブジェクトに対してフレーム化してラベルを付ける必要がありました。モデル全体の進歩に伴い、このタイプの作業はモデルによって徐々に習得され、ラベル付け作業は、顧客のビジネスと深く統合されたシナリオや、マシンがこれまで遭遇したことのないシナリオなど、より複雑なシナリオに移行し始めます。特殊なケース、または注釈オブジェクトがより複雑なプロパティを持つシナリオ。したがって、ラベル業界の人材要件も常に改善されています。
2つ目の変化は、データのモーダル次元が増大していることです。当初は単一の画像、音声、テキストデータを扱うことが多かったのですが、その後、グラフィックスとテキストの組み合わせなど、クロスモダリティ間の結合アノテーションが急増し始めました。レーダー点群とデータと組み合わせた画像など。
業界の難しさを語る。実際、データ ラベル全体が依存する要素は 2 つの部分で構成されます。その一部は、AI トレーナー、いわゆるデータ ラベラーという人材の必要性です。最初の課題は人材の供給であり、データラベラーの管理、トレーニング、コラボレーション、タスクの分散、品質検査のためのプラットフォームが必要です。特に大規模な言語モデルの出現後、人材に対する要件はさらに改善されており、たとえば、OpenAI では対話データに対するより深い理解を必要とするため、データのラベル付け作業を支援するために多くの博士号を取得しています。
私たちは、定量化可能なオンデマンドのラベル付け人事プラットフォーム Origin1 を作成しました。お客様は、Origin1 を使用して必要な人材を見つけてタスクを割り当てることができ、正確なポートレートとインテリジェントなマッチング アルゴリズムの助けを借りて、効率的なタスクの分散が実現されます。現在、50,000 社を超えるラベラーおよびラベル会社が当社のプラットフォームでタスクを受け入れており、AI トレーナーの柔軟性に対する業界の需要を解決しています。
2 番目の困難はデータ中心の MLOps であり、これが Xtreme1 オープン ソース製品を作成した主な理由です。私たちは、お客様のビジネス側にとって、これらのデータとラベル付け要件をどのように定義して、お客様自身のビジネス データのラベル付け当事者に配布するかが大きな問題点であると考えています。Xtreme1 は、データ管理を解決する機械学習エンジニアです。視覚化、ラベル付けタスクの定義、ラベル付けプロセスの監視のためのトレーニング データ ライフサイクル管理プラットフォーム。
オープンソースから商用化への好循環
現在、アノテーター タスク割り当てプラットフォームである Origin1、オープンソースのトレーニング データ管理プラットフォームである Xtreme1、および対応する商用バージョンである BasicFinder Cloud の 3 つの製品ラインがあります。当社の社内人員は 3 つの製品ラインに比較的均等に配置されており、どれが特に重要であるか重要でないかについては言及しませんでした。3 つの製品によって形成されるマトリックスが、トレーニング データのラベル付け作業における供給から需要までのチェーン全体を調整して完了できるためです。道路工事。
最近では、オープンソース側でさらに多くの取り組みが行われています。
オープンソースは非常に強力なエコロジーであり、エコロジー全体において、ツールチェーン間に強力な相乗効果があり、モデル開発の効率を加速できます。
Xtreme1 は、製品の位置付けを明確に計画しているため、2022 年 9 月にオープンソースを決定しました。MLOps レイヤーでは、データ中心のトレーニング データ管理プラットフォームが必要であり、最終的には機械学習ツール全体がオープンソースによって支配されると強く信じています。. .
Xtreme1 がオープンソース化されたとき、市場にはオープンソースのラベル付けソリューション、特にマルチモーダル機能はあまりありませんでした。私たちは、このようなデータ中心の空白スペースを、データ パイプライン、モデル トレーニング、推論、評価、その他のシステムなどの機械学習の他のプロセスに接続できると同時に、これまでに蓄積された製品を使用できることを確認しました。長年にわたって多くの企業がこの機能を共有し、より多くのビジネス シナリオを実現できるようにしたため、オープンソースを選択しました。
オープンソース企業には2つのタイプがあり、1つはDay 0からオープンソースにするタイプと、趣味からオープンソースを始めるタイプです。もう 1 つは、オープンソースの一般的な傾向を認識することであり、製品が十分な経験と技術の蓄積を経た後、より上流および下流のソフトウェア エコシステムと統合して、製品の影響力を拡大することを望んでいます。Xtreme1 には、オープンソース パスとモデルのおかげで、現在数十の商用ユーザーがいます。オープンソースを行う多くの企業は、オープンソースへの投資と商業収益の創出のバランスをとるという課題に直面するでしょう。しかし、私たちのモデルは比較的明確であり、エコロジーにオープンソースを使用すると、私たちのビジネスに対してより強い商業的ニーズを持っている顧客も現れるでしょう。多くの顧客にとって、エンジニア レベルであれば問題を解決するためにオープン ソース ソフトウェアや製品を使用する可能性がありますが、企業の場合はソフトウェアの商用バージョンを購入する可能性が高いためです。なぜなら、より高いセキュリティ、制御性、システムパフォーマンスを備えているからです。
その結果、多くのお客様がオープンソース製品から商用バージョンおよび SAAS バージョンに移行しました。実際、彼らがオープンソース ユーザーであろうと、当社の商用ソフトウェアの顧客であろうと、多くのラベリング ニーズを伴うはずです。彼らは当社のラベリング ソフトウェアを使用しており、当社はそれらのユーザーにラベリング サービスを同時に提供しています。オープンソースから商用化までのプロセスをループへ。
私たちが誇りに思っていることの 1 つは、オープン ソース システム Xtreme1 全体を Linux Foundation に寄付するという決定です。2022 年 9 月にオープンソース化され、2022 年 12 月に寄付が決定されます。2023 年 1 月に、TAC によって全会一致で承認されました。これは、財団の MLOps 領域における世界初の「注釈と視覚化」プロジェクトであり、現在でも唯一のプロジェクトでもあります。これは非常に速いです。
弊社のオムニチャネル ダウンロード数は、今年 4 月初旬に 2,000 を超えました。現在、GitHub には世界中から 400 名以上の機械学習エンジニアが参加しています。
将来的には、オープンソース製品の拡張を継続し、マルチモーダル データ機能に関するさらなる研究に投資する予定であり、Xtreme1 の最新バージョンには、LLM 用のマルチラウンド ダイアログ ラベル付けツールが統合されています。さらに、機械学習トレーニング データセットのワンストップのライフサイクル管理を実現するために、製品間の相乗効果を引き続き向上させていきます。