https://mp.weixin.qq.com/s/ZunCFquj73XhMBIo97gesg
By 超神经
我们就快到了「宁愿相信世上有鬼，也不相信 AI 的破嘴」的时代，人工智能又在 NLP 领域进化到了新的巅峰。他よりも優れたAIがここにあります
最初に、次のストーリーを他の人に書いてもらいます。これは一部の人々を困惑させる可能性があります。それがAIに与えられた場合、彼らはどの程度優れているでしょうか？
本日、OpenAIは「現実的な」記事を書くことができる自動テキスト生成モデルを発表しました。
人為的に始めた場合、このAIモデルは完全な原稿にすばやく補足できます。テキストの読みやすさと流暢さについては、事前に伝えないと、これがAIの仕事だとは思わないかもしれません。
たとえば、彼に始まりを与えてください：科学者たちは、ユニコーンのグループがアンデスの未開発の遠い谷に住んでいるという衝撃的な発見をしました。さらに驚くべきことは、これらのユニコーンが完璧な英語を話すことです。
このAIモデルによって生成される記事は次のとおりです（一部）。
これらの生き物には独特の角があり、科学者たちはそれらをOvidのユニコーンと名付けました。4つの角を持つ銀白色の生物は、以前は科学界に知られていませんでした。
……
これらの生き物の起源はまだはっきりしていませんが、人文明が存在しなかったとき、人とユニコーンの交差点から生まれたと信じている人もいます。ペレス教授は次のように述べています。「南米では、この現象は非常に一般的です。」
...
彼らが消える種族の子孫であることを確認したい場合、DNA検査が唯一の方法かもしれません。
偽の原稿を書くことができるだけでなく、読解力、質疑応答、要約の生成、テキストの翻訳も可能です。
翻訳：フランス語から英語へ
データセット：WMT-14 Fr-En
原文
一人の男性は、彼がヘルニアを治療しなければならなかった自由な手術は彼が再び働くことを可能にするであろうと説明しました。
人工的な
一人の男性は、彼が受けた無料のヘルニア手術は彼が再び働くことを可能にするであろうと説明しました。
AI 翻
約束された手術のチップは彼が旅行することを許可しないと男は私に言った。
AI模型翻译例
このAIは少し強いです
このAIモデルはGPT-2と呼ばれ、GPTの「アップグレードバージョン」です。残酷なことは、以前のバージョンの原則と同じである今回はより多くのトレーニングデータを使用することですが、GPT-2はGPTモデルの直接的な増幅であり、10倍を超えるデータ量でトレーニングします。パラメータの量も10倍になります。
入力テキストを分析することで、GPT-2は基本的なテキスト処理機能を実行できます。これは、言語モデリングタスクに適しています。タスクは、プログラムに文の次の単語を与える能力を予測させることです。タイトルを付けるだけで、偽の引用や統計があっても、AIは残りの記事を完璧に書くことができます。
「短編小説を書いてみませんか？最初の行に書けば、思いがけない素晴らしい物語を得ることができます。適切なヒントがあれば、長編小説を書くことさえできます」と言う人もいます。
GPT-2のトレーニングの目的は単純です。テキスト内の前の単語を指定して、次の単語と文を予測します。トレーニングデータセットの多様性により、さまざまなフィールドで多数のテキストを生成できます。
テクノロジーには新しい場所はありませんが、人々はミネラルレベルのトレーニングを受けています。そのため、新しいモンスターレベルのツールが作成されました。
OpenAIの研究者たちは、GPT-2は、さまざまなドメイン固有のデータセットに対する言語モデリングテストで優れたスコアを達成したと述べています。フィールドデータで特にトレーニングされていないモデルとして、そのパフォーマンスは特別に構築されたモデルよりも優れています。
NLPの台頭の時代？
Googleが数か月前に発表した言語モデルBERTは業界で大きな注目を集めています。一定期間、画面は常に更新され、その3億のパラメータボリュームは11のレコードを更新しました。これは賞賛に満ちています。しかし、今回OpenAIが発表したGPT-2はさらにひどいもので、15億のパラメーターに達しています。
以前の最も高度な人工知能モデルと比較すると、GPT2モデルは「12倍大きく、データセットは15倍大きく、スコープはより広い」です。Redditに3票以上の投票があったニュースリンクから選択された約1000万の記事のデータセットでトレーニングされました。トレーニング済みのテキストデータは最大40GBです。
BERTブラッドバスNLP（Natural Language Processing）のさまざまなトップインジケーターの前は、OpenAIのGTPは一流のマスターの中にあり、新しいGPT-2は大量のトレーニングデータを通じてこの分野を新しい高みに直接導きました。 。
BERTとGPT-2があれば、NLPの道は確実に活況を呈しますが、人類により良い利益をもたらす方法については、これは依然として賢明なトピックです。
Allen Institute for Artificial Intelligenceの研究者であるAni Kembhavi氏は、GPT-2に興奮している理由の1つは、予測テキストはコンピューターの「スーパータスク」と考えることができるということです。この課題が解決されると、知恵への扉が開かれます。
パンドラの箱になりますか？
残念ながら、そのような強力なツールはまだ発表できません。その背後にある考慮事項は、偽のニュース、悪意のあるコメント、スパムなどを生成するなど、それがもたらす可能性のある隠れた危険です。そのような兵器は違法な方法で使用されており、その結果も破局的です。
この点で、開発者も心配しています。OpenAIの研究者たちは、何がもたらされるかを予測することはできないと語った。彼らはまだ調査中です。さまざまな理由で、彼らはプロジェクトによって共有されるコンテンツに非常に慎重であり、現在、主要な基本コードとトレーニングデータを開示していません。
彼らは、警告の別の理由は、誰かが人種差別、暴力、虐待または虐待についてのGPT-2テキストを提供すると、非常に危険な状況を生み出すであろうと指摘しました。結局のところ、それはインターネットのトレーニングに依存しています。
このテクノロジーが大きな変化をもたらすことは否定できませんが、悪意のある人物の手に渡ったツールは壊滅的な結果をもたらします。
また、GPT-2で記述されたテキストは新しく生成されるため、コピーアンドペーストの問題が発生せず、潜在的な脅威となる以前の検出方法での検索やトラブルシューティングがより困難になります。
それで、ここで重要な質問が来ます、この記事はAIによって書かれていますか？
