| ガイド | インテリジェント プログラミングの起源は、統合開発環境 (IDE) の補助プロンプト機能に遡ります。ただし、従来の IDE のインテリジェントな補助機能は比較的単純で、通常は開発者の入力と既存のプロジェクト コード、完成するコード内のクラス名、メソッド名、コード フラグメントなどのリアルタイム予測に基づいており、次のような機能を提供します。提案のリスト。 |
現在のいわゆるインテリジェント プログラミングは、深層学習技術の影響を受けて、以前とはまったく異なり、本質的な違いさえあります。
HUAWEI CLOUD Dev AI Labのリーダーであり、インテリジェントな研究開発アルゴリズム技術の専門家であるMa Yuchi氏は、「GitHub Copilotが登場した2021年は、真にインテリジェントなプログラミングが登場する最初の年となる。それ以前のコード補完は入力と同等である」と考えている。メソッド。Lenovo 機能。」
HUAWEI CLOUD開発AIラボリーダー、インテリジェントR&DアルゴリズムテクニカルエキスパートMa Yuchi氏
GitHub と OpenAI によって開発された GitHub Copilot の基盤テクノロジーは、Codex モデル (GitHub のパブリック リポジトリを含むエクサスケール コードでトレーニングされたモデル) を使用します。GitHub Copilot の特別な点は、それが単なるコード補完ツールではないことです。ほとんどのコードエイドよりも多くのコンテキストを理解します。ドキュメント、コメント、関数名、またはコード自体であっても、GitHub Copilot は開発者が提供したコンテキストに基づいて一致するコードを合成します。開発者は、GitHub Copilot を通じて、コード行全体に関する提案を取得したり、エディターで関数を完了したりできます。
Copilot の進化の速さは驚くべきものです。Copilot が最初にリリースされた 2021 年 6 月の精度率は 28.8% で、当時業界最高の精度は 11% にしか達しませんでした。今年3月にはGPT-4と連携したCopilot Xの正解率が67％に達した。
「大規模なモデルに基づいていないAIプログラミングアシスタントは、プログラミング能力が非常に低い。われわれの考えでは、それは知能の範疇にさえ属さない」と馬裕池氏は語った。Copilot の誕生は、Ma Yuchi と彼のチームに多くのインスピレーションを与えました。そこでファーウェイは2021年末、研究開発ツールのCodeArtsとPanguの大型モデルを組み合わせて、インテリジェントなプログラミングアシスタントのCodeArts Snapを開発した。
CodeArts Snap は、760 億行の選択されたコード、8,500 万のオープンソース コード ウェアハウス、および 1,300 万を超える技術文書をトレーニングしており、インテリジェントな生成、インテリジェントな質問と回答、インテリジェントなコラボレーションという 3 つのコア機能を備えていることがわかります。テスト ケースに自動的に注釈を付けて生成し、1 つの命令でインテリジェントに展開します。
現在、CodeArts Snapは多くのユーザーを獲得し、多くのフィードバックをいただいています。Ma Yuchi 氏は、今後も CodeArts Snap は進化を続け、インテリジェント プログラミング機能を継続的に向上させていくと述べました。同氏は、モデル最適化とエンジニアリング最適化の観点から、現段階では「大規模モデルに基づくコード生成」が依然として8つの主要な技術的課題に直面していると述べた。これはCodeArts Snapの今後の進化の方向性でもあります。
1 つは中国語対応のコード生成です。現在、多くの大規模モデルの学習前コーパス データは主に英語であり、中国語コーパスは 3% ～ 5% にすぎません。IDE で会話型の対話を使用する場合、中国語のパフォーマンスは英語のパフォーマンスよりもはるかに劣ります。限られたコーパスの場合にモデルの性能を保証するという条件の下で、中国語/英語記述を使用した場合と同じコード生成能力を満たすために、中国語の意味論の理解能力をどのように高めるかが、現在の大きな課題となっている。
2 つ目は、プロンプトの最適化とインタラクティブな入力の改善です。大規模モデルの特性の 1 つは、対話時の説明が正確であればあるほど、プロンプトがより適切に作成され、生成されるコンテンツの品質が向上することです。ユーザーの意図があまり明確ではない場合でも、ユーザーが入力したタスク記述の完全性や合理性をいかに判断し、インタラクションを通じて意図を明確にするかが、コード生成の精度を高める鍵となります。
3つ目は統合学習の探索です。現在の大規模モデルには、数百億、数千億、数兆のパラメータが含まれることが多く、このような大規模なデータを「食べる」には、推論コストが非常に高くなります。したがって、推論効率を向上させるという目的を達成するために、推論精度率を満たしながら、より少ないパラメータ数のモデルを使用することで、事前学習済みモデルを組み合わせて、より大規模なモデルの推論効果を実現することはできるでしょうか。
4つ目はエクスペリエンスの評価と最適化です。客観的で実際のプロジェクトに近い評価指標・評価手法を構築することは、業界の健全な発展に貢献します。
5つ目はモデルオンライン学習です。ユーザー データのフィードバックは、モデルの機能を向上させるのに非常に役立ちます。ユーザーのプライバシー保護を前提に、ユーザーの明示的および暗黙的なフィードバックに基づいてオンライン大規模モデルを微調整し、オンラインモデルのリアルタイム更新を実現することが業界で議論されるべき課題です。
6つ目は低コストSFTです。モデルのトレーニングと自動検証の展開だけでなく、さまざまな研究開発シナリオ向けのトレーニング/検証データセットの迅速かつ低コストの構築をどのように実現するかも重要です。
7は後処理です。後処理は、実際のアプリケーション シナリオでモデルの効果を向上させるために重要です。プロジェクトのコンテキストに従って、生成されたコードのコンパイルおよび操作エラーをチェックして修復し、単体テストと組み合わせて、生成されたプログラムの論理エラーを修復します。小さな問題や小さな間違いはすべて解決されますが、コード生成全体の品質が向上します。特に将来的には、コードの生成とテストを同時に行い、相互に照合して閉ループ内のコード全体の品質を向上させる大規模なモデルがさらに増えるでしょう。この場合、後処理は大規模モデルの全体的な能力を向上させるのに非常に役立ちます。
第八に、このモデルは軽量です。モデルの軽量化の重要性は疑いの余地なく、コスト、効率、パフォーマンス、ユーザー エクスペリエンスに関係します。精度が落ちすぎないことを前提として、軽量モデルサポートエンドを利用してモデル推論を実現するための計算能力を測定することにも注目です。