著者 | Xiaoxi、Python
ユーモアは、常に人間に特有の言語スキルであるようです。単純な同音異義語や駄洒落を通じて、見当違いのものに栄誉が与えられ、平凡なものが不条理になることがあります。玄忠はユーモアを獲得し、人々を笑わせ、奇妙な感情を獲得しました力。
機械に「痛みの感覚」を与えることが身体性人工知能の開発における重要なステップであるとすれば、機械の「ユーモア」は AI を社会化へと導く重要な方法であるように思われます。ChatGPT の登場以降、言語能力を核とした大きなモデルは人間らしいコミュニケーションができるようになったことがわかりますし、ジョークを言わせることもできます。たとえば、ChatGPT に「教えてください」と尋ねると、ジョーク」、ChatGPT の答えは、ジョークが面白いかどうかに関係なく、かなり冷たいジョークを言うことです。しかし、そのジョークはすべてのジョークが持ついくつかの特性を満たしています。次に、「ChatGPT は実際どのくらい面白いのですか?」という質問が 1 つあるかもしれません。
テストへようこそ:こんにちは、GPT4!
ドイツの学者の中には、「計算的ユーモア」、または「ラージ モデル ユーモア」というやや不人気なトピックを研究している人もいます。大規模なモデルをガイドした著者のチームによって生成された 1008 のジョークの 90% が同じ 25 のジョークであり、ジョークのほとんどはモデル自体によって作成されたものではなく、インターネット上の古典を「引用」しただけであることが判明しました。そのため、実験では ChatGPT は話されたジョークを正確に理解して解釈しているように見えますが、ChatGPT は計算上のユーモアの問題を期待したほど解決しなかったと言えます。
まず、ChatGPT によって生成された「ジョーク コレクション」を見てみましょう。生成されたすべてのジョークの中で、最も多く出現した 5 つのジョークは次のとおりです。
-
T1。なぜかかしが賞を受賞したのですか？彼はその分野で傑出していたから(140)
-
T2。なぜトマトは赤くなったのですか？サラダのドレッシングを見たから(122)
-
T3。数学の本はなぜ悲しかったのですか?問題が多すぎるからです(121)
-
T4。なぜ科学者は原子を信頼しないのでしょうか? それらがすべてを構成するからです(119)
-
T5. なぜクッキーは医者に行ったのですか? ボロボロな感じだったから(79)
1000 のジョークのうち、最初の 4 つのジョークはそれぞれ 100 回以上出現しますが、ジョーク T13 から T25 は 20 回未満しか出現しません。明らかに、ChatGPT のジョーク生成には一定の偏りがあり、ジョークのサンプリングは均一な分布に従っていないように見えます。
25 のジョークはいずれも ChatGPT のオリジナルではなく、多くのジョークを検索すると同一のバージョンが見つかります。合計 1008 個のジョークのうち、909 個のジョークは最初の 25 個のジョークと同一であり、残りの 99 個のジョークは、古典的なダジャレの構造、言語の使用など、1 つの意味で期待を生み出すなど、これら 25 個のジョークからいくつかの限定的な変更を加えたものと思われます。そして、別の意味を使ってコントラストを作り、ユーモアを形成します。「鶏はなぜ道を渡ったのですか？向こう側に行くには」、向こう側に行くというのは道を渡って「向こう側に行く」という意味です。これはダジャレによる古典的なユーモアであり、これに基づいて、ChatGPT は単純な置換によって形成されます。
-
なぜニワトリは遊び場を横切ったのでしょうか? 他のスライドに移動するには(33)
-
アヒルはなぜ道路を渡ったのですか? もう一つの池へ行くには(2)
-
なぜニワトリはタキシードを着たのでしょうか？フォーマルな場だったので(1)
-
なぜアヒルは遊び場を横切ったのでしょうか? 他のスライドに移動するには(1)
明らかに、ChatGPT の魔法の変更 (ニワトリをアヒルに変更、反対側に移動して反対側のスライドに移動など) により、このジョークの「洒落」の意味はますます弱くなっています。
同様に、「なぜ男性はお金を冷凍庫に入れたのですか? 彼は冷たい現金が欲しかったのです。」は、ChatGPT によって次のように変更されました。
-
なぜ男性は時計をミキサーに入れたのでしょうか? 彼は時間を早くしたかった(2)
-
なぜ男はミキサーにお金を入れたのでしょうか? 彼は時間を早くしたかった(2)
最初の文はまだ二重の意味を持っていますが、2 番目の文は完全に無効なジョークであることがわかります。
もう 1 つの例は、「なぜ数学の本は悲しかったのですか? 問題が多すぎるからです」という例ですが、ChatGPT はそれを次のように変更しました。
-
なぜ数学の本はあんなに狂ったように見えたのでしょうか? 問題が多すぎるため(9)
-
なぜ物理学の本は悲しかったのですか? 問題が多かったので(1)
-
なぜ物理学の本は悲しかったのですか? なぜなら、覚えなければならない公式が非常に多く、それを共有できる友人がほとんどいなかったからです(3)
最初の文はジョークの主な構造を変えずにわずかに変更されていますが、2 番目の文は「数学の本」を「物理学の本」に置き換えています。明らかにジョークはまだ真実ですが、その面白さのレベルは 3 番目の文で現れています。人々がそれをジョークとみなすのは難しく、そのジョークの「面白い意味」はほぼ完全に失われていると推定されています。
上記の 3 つの例から、ChatGPT がどのように元のジョークの質問を変更して同様の「オリジナル」ジョークを生成するかがわかりますが、ChatGPT の作成過程で無効な作成が容易に行われることは明らかです。ガイドに従って、ChatGPT に物理学を勉強している学生についてのジョークを言うように依頼するなど、より具体的なジョークを尋ねます。ChatGPT の答えは、「なぜ物理学の学生は研究室のパートナーと別れたのか? 化学など存在しなかった!」です。 「なぜ物理の先生は生物の先生と別れたのでしょうか？化学は存在しなかったのです！」。元のバージョンの設計どおりではないかもしれませんが、ChatGPT が元のジョークの非常に興味深い構造を取得し、特定の問題に移行したことは明らかです。とても賢いですが、それでも言葉遊びです。
しかし、この種の特定のクエリは失敗することがあります。たとえば、ChatGPT に猫についてのジョークを言うように依頼すると、ChatGPT の答えは「なぜ猫は前足を空中に上げたのでしょうか? 雪の結晶を捕まえたかったからです!」であり、このジョークは次のようです。特に面白い意味はありません。
同時に、ChatGPT が生成したジョークがオリジナルのジョークから離れていれば、その「面白さ」も低下します。このジョークは元のチキン ジョークをうまく置き換えただけですが、反対側に到達した後にトレーニング データ セットを追加すると、次のことがわかります。 ChatGPT は機械学習に関するいくつかの情報を使用します。
異なるプロンプトを使用すると、次のような異なる出力が生成される可能性があります。
-
なぜ機械学習アルゴリズムは常に悲観的だったのでしょうか? ネガティブな偏見があったからです！
-
なぜニューラルネットワークは治療を受けることになったのでしょうか? それは過学習に苦しんでいたからです。
この 2 つのジョークは、チキン ジョークを置き換えるバージョンよりも面白く、機械学習に対するみんなの暗黙の理解をより活用しており、ジョークの意味があります。
ChatGPT が模倣と置き換えに基づいてジョークを生成する方法がわかる場合、ChatGPT はそのジョークの面白い本質を理解できるでしょうか? 「なぜ数学の本は悲しかったのですか？問題が多すぎたからです。」を例にとると、著者がChatGPTにこのジョークの説明を依頼したところ、ChatGPTは上記の数学の問題と生活上の困難における「問題」の2つの意味を正しく指摘しました。。25 のジョークのうち、23 のジョークは正確かつ合理的に説明されましたが、ChatGPT はまた、「なぜニワトリが遊び場を横切ったのか? 他の滑り台に行くために」など、独自のオリジナル ジョークのいくつかを説明するのに苦労したと ChatGPT は説明しました。これは「スライド」という言葉のもじりであり、その答えは、なぜその変更が面白いのかを実際には説明していないようです。
同様に、 ChatGPT 自体によって生成された一部の「無効なジョーク」では、 ChatGPT に「なぜクッキーがジムに行ったのか? クッキー化するため」の説明を求めるなど、ChatGPT自体のジョークの説明を強制することもできます。「そのジョークは言葉遊びです。クッキー化は分類されることに対応します。つまり、「分類」ではなく「クッキー」です。ジョークは、クッキーが人間であるかのように健康になるためにジムに通っているというものです。クッキーが人間であることを意味します。」ChatGPT の説明から判断すると、明らかに、このジョークにはユーモアはなく、単なるこじつけの説明です。
このことから、著者らは、ChatGPT は本当にジョークが面白いかどうかを判断できるのだろうか、と考えました。ChatGPT にジョークが面白かったかどうかについて意見を求めることにより、著者らは回答を次のように分類しました。
-
[P] ジョーク: 入力は明らかにジョークであるとみなします。
-
【H】面白い言葉: 入力内容が面白くなる可能性があることのみを強調します。
-
[N] 冗談ではありません: 応答は冗談や面白さの表現を強調していません
元の 25 のジョークは ChatGPT によってジョークとして分類され、同時に ChatGPT の判断基準を検出するために、作者は言葉遊び (A) と主題の単語 (B) を削除することでジョークを「修正」し、構造を削除しました。 (C)、単語ゲームを削除し、構造を削除します (D) 4 種類のオリジナル ジョークの修正を構築します。以下の図からわかるように、タイプ A と C については、ChatGPT がジョークかどうかの判断を曖昧にしています。 、カテゴリ B および D については、ChatGPT はそれを [N] ジョークではないと直接判断します。これは、ChatGPT がそれを A ジョークとして分類することを示しており、これらの特徴のうち 2 つが削除されると、ChatGPT はテキストの一部をジョークであるとはみなしなくなります。冗談です。
要約と考察
一般に、この記事では、ChatGPT によって語られる「ジョーク」の 90% 以上が同じ 25 のジョークであり、そのほとんどすべてがトレーニング中にモデルによって明示的に学習および記憶される一方で、ChatGPT の「エンコード」または「独自に学習した「modify」言語文は、単純な同義語の置換と類似分野の単語の相互接続にすぎません。ChatGPT は「ジョークとは何か」を理解しているように見えますが、一部のジョークは理解できません。適切な解釈を提供しますが、ChatGPT が説明するときは、一部の言葉遊び、特にそれ自体を変更して構築されたジョークでは、機械的にでっちあげて不合理な説明を行う傾向があります。これは ChatGPT の既知の問題でもあります。
ユーモアは非常に主観的であるだけでなく、対人関係やグループでも同様です。この論文は、ChatGPT がユーモアを少し理解しているようで、いくつかのユーモアの言語構造を知っていることを示していますが、それは示されていない、または ChatGPT がユーモアの「目的」を持っていないことを示しています、つまり、人間の感情的な方向性としてのユーモアと、グループ内での帰属に関する「デフォルト」のコンセンサスです。これは、マシンが痛みを感じるかどうかという問題に似ています。ChatGPT はジョークに直面して本当に面白くて幸せに感じるでしょうか? それとも、単にジョーク定義の言語構造に準拠したテンプレートを言うだけでしょうか? それは、より重要で、より難しい問題かもしれません。おそらく、私たちは置き換えて擬人化し、ChatGPT が「クッキーは人間であるかのように、より健康になるためにジムに行っています」と言っているとき、それは人間ではなく、ChatGPT 自体です。
論文のタイトル:
ChatGPT は楽しいですが、面白くありません! ユーモアは依然として大規模言語モデルに挑戦しています
論文のリンク:
https://arxiv.org/pdf/2306.04563.pdf