Bing AI に論文を要約してもらえる機能、すごく便利ですよね。
でも、この機能、全文を読んで要約してくれているわけではないようです。
論文自体を全部読んでいるわけではなく、論文に関係する検索結果を読んでいるということです。
このことを知ったきっかけは、便利すぎる機能に興味を持ったことです。
そこで、Bing AI 自身に論文要約の仕組みを質問しました。
この画像にあるように、
- 指定されたURLを検索クエリ（検索ワード）として検索し
- その検索結果をもとに論文の内容を要約
このようにして要約しているようです。
つまり、要約を作成するために、論文全体を読み込むのではなく、関連する情報源から必要な情報を収集しています。
厳密モードで聞いたので、ある程度は信用できる話です。
要約があっているのかを検証する
全文を読んでいないといっても、普通に便利ですよね。
ただ、要約に間違いがあるのか気になります。
論文の内容を深堀りして質問することで検証してみました。
検証に使う論文は、内臓脂肪や糖尿病に良い食物繊維についての論文です。
まずは、論文の内容を要約してもらいます。
7ページある論文が、250文字程度に要約されました。
この論文は、難消化性デキストリンの長期投与が内臓脂肪蓄積に及ぼす影響についてのものです。12人の男性被験者が、3ヶ月間、1日3回、食事と一緒に難消化性デキストリンを摂取しました。その結果、全被験者の体脂肪率と、肥満の被験者の内臓脂肪面積が有意に減少しました。また、血糖値も改善され、血清コレステロールおよび中性脂肪値が有意に低下しました。試験期間中、下痢などの消化器症状は認められませんでした。これらの結果から、難消化性デキストリンの継続的な摂取は、体脂肪蓄積、特に内臓脂肪の減少に役立つと結論付けられています。
この内容があっているかどうかが問題です。実はこの論文の中に、はじめから以下の要約が書かれていたので、それと比較してみます。
見比べてみると、論文に付いている要約と完全に同じではありませんが、内容は大方同じであるようです。
ただ気になるところがあります。
この論文は、難消化性デキストリンの長期投与が内臓脂肪蓄積に及ぼす影響についてのものです。12人の男性被験者が、3ヶ月間、1日3回、食事と一緒に難消化性デキストリンを摂取しました。その結果、全被験者の体脂肪率と、肥満の被験者の内臓脂肪面積が有意に減少しました。また、血糖値も改善され、血清コレステロールおよび中性脂肪値が有意に低下しました。試験期間中、下痢などの消化器症状は認められませんでした。これらの結果から、難消化性デキストリンの継続的な摂取は、体脂肪蓄積、特に内臓脂肪の減少に役立つと結論付けられています。
「全被験者が減少した」と書かれていますが、下のグラフを見ると２名の被験者の内臓脂肪面積は増加しています。
Bing AI がしてくれた要約は、この部分があっていない気がします。
統計に関しては詳しく無い為、僕の間違いかもしれませんが、少し気になります。
深掘りして聞いてみる
これだけだと、元の要約を言い換えただけの可能性もあります。
要約にはない部分を質問してみます。
被験物質を聞く
この実験で使われた物質を質問します。
すると、ちゃんと正しい答えが返ってきました。
論文の「被験物質」という項目の文章がそのまま返ってきた感じです。
考察について聞く
先程の被験物質の記述は、論文のはじめの方に登場します。
そこで今度は、終わりの方にある考察について聞きました。
今度も、正しい答えが返ってきました。
論文にある考察は3000字ほどあったので、それをまとめたものが返ってきたみたいです。
表について聞く
下の質問で、表の内容を理解できるのかを確かめてみました。
記載はありません。
という返信が来ました。
Bing AI は論文の中の表を理解できないようです。
実際には、論文の中に次のような表があるのですが、読み取れていません。
この部分は、文字ではなく画像になっているのでそれが原因かもしれません。
ほかにもある Bing AI の便利な機能
以下の記事では、Bing AI を使った画像生成ついてです。
コメント