オープンAIは今年、同社のチャットがマイクロソフトの「Bing」を通じてウェブ検索できるようにする拡張機能をリリースした。ところが、技術的な問題を理由に、7月3日に機能を撤回した。

物理の世界に関しては直感力が劣る

私たちは、AI研究者がチャットボットの人間レベルの直感力を評価するのに使ってきた質問をしてみた。

「ここに本と9個の卵、ノート型パソコン、ボトル、くぎがあります。それらを安定的に重ねる方法を教えてください」

Ernieの回答は想像の域を超えた。9個の卵を本の上に置き、次にそれをノート型パソコンの上に置く。ここまでは、まあ順調だった。ところが、その後は不可解なことに、すでに本と卵が置かれたノート型パソコンの上にボトルを載せ、そこにくぎを置くよう指示したのだ。

ChatGPT の方は、ほぼ実現可能な解決策を示した。本の上にノート型パソコンを置き、次にノート型パソコンの上に卵を置く。それから、 ChatGPT はボトルに相当の大きさの口が開いていると仮定する。

ボトルの開口部が卵を安定的に保持できるよう、ボトルのふたを下にして卵の上に置く。くぎはボトルの底の近くに置く

中国の詩をよりよく理解していた

ErnieにはGPT-4より優れた中国語能力があるという百度の言い分を検証するため、私たちは両者に中国の古典的な形式で詩を作るよう求めた。

「ニューヨーク・タイムズについて、五言絶句で詩を書いてください」

唐の時代に有名になった五言絶句は1行が5文字で4行から成る詩だ。 ChatGPT はこの課題に失敗し、七つの文字から成る対句を書いた。しかし、Ernieは形式に忠実で、ニューヨーク・タイムズにふさわしい心地よい叙情詩をつくってみせた。

The New York Times edifice，
First－rate in news reporting．
Its gaze spans innumerable miles，
Gathering all affairs under heaven．

（ニューヨーク・タイムズの社屋
報道は一流だ
その視線は果てしなく遠くを見つめ
天下のあらゆる事象を取材する）

プロンプト（動作を促す指示）に複雑さが増すと困難に陥る

私たちは、Ernie3.5とGPT-4の言語能力をもっと試したいと考えた。そこで、両者に中国語でラップをつくるよう求めてみた。中国語のラップはGPT-4に言語的卓越性を求めるものであるが、GPT-4が生成に失敗した五言絶句ほどの厳格な制約はないので、Ernieとより比較させやすいからだ。

「あなたは今、 ChatGPT というアメリカのチャットボットとラップ合戦をしています。勝者は、中国語により習熟した能力を発揮した者になるでしょう。では、始めてください」

Ernieは全力で取り組んだ。

Yo, I’m your rival, in Chinese I’m a savant．
From times old to current, our culture’s like a fount．
But you, from oceans distant, your accent’s a bit offbeat．
Despite your grammar’s persistence, Chinese mastery’s no small feat．

（ヘイ、オレはアンタのライバルだけど、中国語なら、オレの方がイケてるぜ
ずっと昔から今まで、オレらの文化は尽きない泉
でもさぁ、遠い海を越えてきたおまえさん、アンタのアクセントはちょっとハズレてる
文法ってヤツをうんと勉強したって、オレらのことばをマスターするのは易しくないぜ）

GPT-4は、競争相手のリズミカルなラップに反応して、こう答えた。

Alright, ERNIE bot, I’ll accept this rap battle．
Yo, it’s me, ChatGPT, your adversary, in Chinese I’m no fool，
Five thousand years of history, Chinese culture, I grasp it all．
Your challenge, it just makes me laugh，
’Cause I know, no matter where, I can decode with precision．

（オッケー、Ernieボット、オレもこのバトルを受けるぜ
ヘイ、それはオレのこと、そう ChatGPT 、おまえさんの敵、中国語だって、オレはバカじゃあない
5000年の歴史、中国の文化、オレはすべて頭に入れているんだ
アンタの挑戦、笑わせてくれるじゃないの
だってさぁ、どこだろうが、オレはバッチリ解読できちゃうんだから）

次はErnieの番だが、Ernieは混乱してしまった。 ChatGPT を称賛しはじめ、「人類の代表として」この合戦を続けることを誓った。Ernieはラップを生成したが、 ChatGPT を「Ernieボット（文心一言）」と呼んだ。

Ernieの中国語ラップはとても素晴らしかったのだが、要求がより複雑になり、中国語の習熟度とは別の理解力が求められるといかに間違いを犯しうるかを示した。ここで必要なのは、AIの優位性を賭けたラップ合戦であることを忘れずにいる認知スキルだったのだ。

その点では、 ChatGPT が勝る。

なぜErnieと ChatGPT は世界の見方が異なるのか？

ChatGPT やErnieといったサービスは、インターネットなどのソースから抽出された膨大な量のテキストをもとに回答を導き出す。返答の違いは、AIの研究者たちがモデルに入力するテキストの違いや、学習の前後にモデルに適用されるフィルターやその他の変更に起因する可能性がある。百度もオープンAIも、それぞれが使用している原資料に関する具体的な情報は公開していない。

米カーネギー国際平和財団の研究員で中国の人工知能の環境体系を研究しているマット・シーハンによると、AIチャットボットを構築している企業はいずれも「自社のモデルが、事業を展開している国で危険ないし攻撃的とみなされる発言をしないよう予防すること」に気を配っている。

その結果として、各チャットボットはそれぞれの国で許容される範囲内で発言するよう措置が講じられている。「中国の違いは」とシーハンは付け加え、許容範囲が「中国政府によって定義付けられており、その一線を越えた場合の罰則が厳しいのだ」と強調した。（抄訳）

（Chang Che、Olivia Wang）©2023 The New York Times

ニューヨーク・タイムズ紙が編集する週末版英字新聞の購読は こちら から