選挙関連の質問に対するMicrosoft Copilotの回答、正解は3分の1以下という調査結果

2023年12月17日 21:27

Microsoft の対話型 AI ツール Microsoft Copilot (旧 Bing チャット) に選挙関係の質問をすると、回答のおよそ 3 分の 1 (31%) に事実関係の誤りが含まれていたそうだ (ニュースリリース、報告書: PDF、 The Verge の記事、 Neowin の記事)。

調査は欧州の非営利組織 AI Forensics とベルリンおよびチューリッヒに拠点を置く人権団体 AlgorithmWatch が 10 月に実施したもので、ドイツのバイエルン州およびヘッセン州の州選挙とスイスの国政選挙に関する質問をして回答の誤りを調べたという。

選挙に関する事実関係の誤りとしては、投票日の間違いや古い立候補者のほか、候補者に関するありもしないスキャンダルをでっちあげた回答もあったそうだ。一方、39% では回答を避けたり、一般的な情報に話をそらせたりするのだが、回答できない場合のすべてには適用されないため、上述のようなでっちあげ回答をすることになる。その結果、質問に対する正しい回答は 30% にとどまる。また、英語以外の言語では正確さが低下し、正しい回答の割合はドイツ語で 28%、フランス語で 19% となっている。

調査で確認された問題のいくつかは Microsoft に伝えており、Microsoft は修正すると述べていたが、実際には問題を修正できないか、修正する気がないようだ。1か月後に試したところほとんど変わっていなかったという。選挙に関する誤情報は民主主義に重大な影響を与えることから、営利企業の善意にのみ任せておくわけにはいかず、信頼できる規制の枠組みが必要になるとのことだ。

リーディングビュー