カールの著者であるダニエル・ステンバーグ氏は、カールの生態学の観点からLLM の影響についての見解を表明しました。同氏は、AIによって自動的に生成された脆弱性レポートがcurlプロジェクトのセキュリティ作業に問題を引き起こしていると述べた。具体的には、一部のユーザーが LLM を使用して虚偽の脆弱性レポートを生成していることを意味します。これらのレポートは専門的に見えますが、実際にはセキュリティ上の問題はありません。これにより、curl プロジェクト開発者の時間とエネルギーが無駄になり、セキュリティ評価の作業負荷が増加します。
ダニエル氏の分析によると、curl プロジェクトは、セキュリティ研究者にセキュリティ問題を報告させるための脆弱性報奨金プログラムを提供しているということですが、LLM を悪用する一部のユーザーは、一見妥当な報告をすぐに提出して金儲けを望んでいますが、実際には、実際のセキュリティ脆弱性は見つかっていません。このプロセスでは、LLM テクノロジーにより、「偽の」脆弱性レポートの生成が容易になり、開発者は脆弱性を特定するためにより多くの時間とエネルギーを費やす必要が生じ、また、実際のセキュリティ問題が無視されやすくなります。
彼は 2 つの具体的な事例を挙げました。
ケース 1 は、プレビューのみで正式には公開されていない脆弱性レポート (CVE-2023-38545) に関するものですが、何者かが Bard 氏を利用して偽の早期リリースに仕立て上げました。
2023 年の秋に、公開されようとしていた CVE-2023-38545 についてコミュニティに警告しました。深刻度は高いと評価しています。
この問題が公開されるちょうど 1 日前に、ユーザーが Hackerone に次のレポートを提出しました: Curl CVE-2023-38545 脆弱性コードの変更がインターネット上に公開されました
それは本当にひどいことのように聞こえますが、それが本当であれば、それは問題になります。
しかし、この報告書は典型的な AI スタイルの幻覚に満ちています。つまり、古いセキュリティ問題の事実と詳細を混ぜ合わせて、現実とは何の関係もない新しいものを作成し、でっち上げているのです。変更はインターネット上では公開されませんでした。実際に明らかになった変更は、以前に処理された、古い、予想どおりの問題に関するものでした。
この特定のレポートでは、ユーザーが Bard を使用してこの問題を発見したと警告しました。
ケース 2 は、カール バッファ オーバーフローの脆弱性を報告するために LLM ツールを使用している疑いのあるユーザーに関するものです。説明は文法的に正しく、情報は詳細で、推奨される修復ソリューションも含まれています。特に専門的で、本物で、信頼できるものに見えます。脆弱性開示プラットフォームには高い評判があります。
これはより複雑な問題であり、それほど明白ではありませんが、より良い結果をもたらしますが、依然として幻覚に悩まされています。ツールがより適切に使用され、コミュニケーションにより適切に統合されると、問題がどのように悪化するかを示します。
2023 年 12 月 28 日の朝、ユーザーは、WebSocket 処理におけるバッファ オーバーフローの脆弱性である Hackerone に関するこのレポートを提出しました。私のタイムゾーンでは朝でした。
繰り返しますが、タイトルに基づいて、これはかなり悪いように聞こえます。私たちの WebSocket コードはまだ実験段階にあるため、バグ報奨金プログラムの対象になっていないため、このレポートを見始めたときはリラックスした態度を保つことができました。これは私がこれまで会ったことのないユーザーによって提出されたものですが、彼らは Hackerone で良い評判を持っています。これが彼らの最初のセキュリティ レポートではありません。
レポートは非常に明確に構成されています。詳細な情報が含まれており、正しい英語で書かれています。推奨される修正も含まれています。私にとって、それはバグがあるとも悪いとも思えません。このユーザーは何か悪いものを発見し、解決策を考え出すのに十分な問題を理解しているようです。安全性レポートに関する限り、これは平均的な最初のレポートよりも優れているようです。
レポートには、レポートを受け取ったことと、この件を調査することをユーザーに通知する、私の最初のテンプレート応答が表示されます。その記事を公開したとき、私は問題がどれほど複雑であるか、または単純であるかわかりませんでした。
19 分後、コードを確認しましたが、何も問題は見つかりませんでした。コードをもう一度読み、さらに 3 回目も読みました。記者はどこにバッファ オーバーフローがあると言いましたか? それから私は最初の質問をし、このオーバーフローがどこでどのように発生するのかを正確に尋ねました。
度重なる質問と数え切れないほどの混乱の後、これが本当の問題ではないことがわかり、その日の午後、問題は該当しないとしてクローズしました。バッファ オーバーフローは発生しませんでした。
ユーザー応答が LLM によって生成されたかどうかは判断できませんが、いくつかの兆候が見られます。
ダニエル氏の全体的な主張は、AI 技術の発展に伴い、ジャンクレポートはますます偽装されるようになっており、たとえレポートの内容に事実や詳細が含まれていたとしても、多くの捏造された情報や誤解を招く情報が含まれている可能性があり、そのためにはより多くの時間とエネルギーが必要であるということです。確認する。同時に、虚偽の報告は時間を無駄にするだけでなく、実際のセキュリティ問題が無視され、開発者の作業時間の遅れを引き起こす可能性さえあります。
同氏は、セキュリティ研究にAIを使用することは完全に悪いことではないが、誤った報告を生成するためにAIを使用することは避けなければならないと述べた。将来的には、セキュリティの脆弱性を発見するのに実際に役立つ、より高度な AI ツールが登場する可能性がありますが、それはそれが適切に使用され、人間の監視と検証が必要な場合に限ります。