了解しました。AIの性能を測るベンチマークとして入試問題を用いることの可能性と課題について、多角的に検証します。具体的には以下の観点で分析を行います。
- 技術的課題：入試問題がAIの評価として適切か、既存のベンチマークと比較した場合の精度や課題。
- 社会的影響：一般の人々がAIの能力を理解しやすくなるか、逆に誤解を招くリスクはないか。
- 倫理的・法的課題：試験問題の著作権や、公平性の観点から問題が生じないか。
- 代替手法の検討：他により適切な評価手法があるかどうか。 調査結果がまとまり次第、お知らせします。
技術的課題
入試問題の適切性: 大学入試などの問題は幅広い知識と一定の推論力を要するため、AIの能力評価に使いやすい標準テストと考えられます。実際、OpenAIはGPT-4を人間向け試験で評価し、「人間が受ける様々な試験で大多数の受験者を上回る成績」を収めたと報告していますcdn.openai.com。例えばGPT-4はアメリカ法曹試験（バー試験）で受験者上位10%相当のスコアを記録し、前世代のGPT-3.5が下位10%だったのと対照的でしたcdn.openai.com。このように入試問題は人間の学力尺度として親しまれており、AIの実力を示す分かりやすい指標になり得ます。
しかし一方で、入試問題がAIの知能全体を適切にカバーするかには疑問もあります。標準化された選択問題はAIにとって解きやすいケースが多く、必ずしも創造性や対話能力は測れません。過去の研究では、AIが英文の穴埋め問題を「問題文中の単語と一緒によく出現する単語」をデータから引っ張ることで高得点を取れた例が報告されていますdiamond.jp。これは人間のような文脈理解ではなくパターンマッチングによる正答であり、問題がAIにとって単なるデータ照合になってしまう可能性を示唆します。さらに、大規模言語モデルは訓練データ中に類似問題が含まれていれば暗記に近い形で解けてしまうため、本質的な推論力を評価しているか注意が必要です。
ベンチマークとの比較: 入試問題を使う場合、その難易度や網羅性を既存ベンチマークと比較する必要があります。MMLUのように57分野にわたる知識問題集でGPT-4は86.4%という高い正答率を示し、GPT-3.5の70.0%を大きく上回りましたcdn.openai.com。これらは大学レベルの専門知識を含む難問揃いですが、GPT-4は従来モデルより大幅に精度向上していますcdn.openai.com。一方、常識的推論を測るHellaSwagでもGPT-4は95.3%と非常に高い正解率を達成し、人間並みの常識推論力を示していますcdn.openai.com。つまり最新モデルは既存ベンチマークで人間水準かそれ以上の性能を見せており、入試問題でも高スコアが期待されます。実際、日本の2024年大学入学共通テストをGPT-4に解かせた実験では、科目によって受験生平均（正答率約60%）を大きく上回り80%台に達する正解率もありましたinternet.watch.impress.co.jp。特に知識や読解を問う科目で強さを発揮しており、AIが得意とする知識問題では人間以上の精度を示しています。
AIの得意分野・不得意分野: 上記のように知識問題や文章読解、日常的な常識推論はAIの得意領域といえます。広大な訓練データに基づく知識の網羅性とパターン認識能力により、選択肢問題などは高精度で解答可能ですcdn.openai.com。一方で課題も浮き彫りになっています。先の共通テスト実験では、GPT-4は数学I・AとII・Bでのみ人間平均を下回りましたinternet.watch.impress.co.jp。これは数式計算や多段階推論を要する問題に弱さが残る例です。また、「一度に複数の処理を同時に求められると急激にパフォーマンスが低下する」傾向も指摘されておりinternet.watch.impress.co.jp、複雑な推論の組み合わせを苦手とするようです。東大合格を目指した「東ロボくん」プロジェクトでも、AIが文脈理解や常識的な判断で壁に突き当たり、偏差値57程度で伸び悩んだことが報告されていますdiamond.jpdiamond.jp。このようにAIは高度な知識問題は解けても、問題文の深い意味理解や創造的発想を要する問いには弱点を示す場合があります。入試問題による評価では、そうしたAIの得意・不得意の偏りを踏まえて解釈する必要があります。
社会的影響
一般への分かりやすさ: 入試問題をAI評価に用いることは、一般の人々にAIの能力水準を直感的に伝える手段となり得ます。例えば「このAIは東大模試で偏差値○○を取った」「大学入試で合格圏の得点を出した」という説明は、専門知識がない人にもAIの賢さをイメージしやすくします。実際、東ロボくんプロジェクトは「AIが東大に合格できるか」という明快な目標で注目を集め、社会的な関心を喚起しましたwww.nii.ac.jp。このような身近な基準で能力を示すことはAIへの理解を促進し、技術への興味を高める効果があります。
AIの本質的能力の伝わり方: とはいえ、入試問題ベースの評価がAIの本質的な知能を正しく伝えるかには注意が必要です。試験成績は知識量や論理問題への対処力を示しますが、創造性や適応力といった側面は測れません。AIが入試問題で満点を取ったとしても、それは「与えられた問いに正答する」能力の証であって、人間のように自発的に問題を発見したり新奇な解決策を生み出したりする能力とは別物です。例えばGPT-4は試験問題への正答率は高いものの、依然として事実にない回答を作り出す“幻覚”を起こすことがありcdn.openai.com、これは試験では測れない欠点です。また、適応性の面でも、入試問題はフォーマットが決まっているためAIは対応しやすいですが、全く未知の状況で臨機応変に対処できるかは別問題です。推論についても、選択式試験では知識と思考プロセスの一部しか評価されず、AIの論理的推論力や因果関係の理解力すべてを示せるわけではありません。したがって、入試で高得点＝人間同様の知能と早合点すると誤解を招く可能性があります。
誤解や過剰な期待のリスク: 入試問題を解けるAIが登場すると、メディア報道などで「AIが東大合格レベルに」「医師国家試験に受かるAI」などと喧伝されるでしょう。これは一面では事実ですが、受け手によってはAIが人間の専門家をすぐに置き換えられるとの過剰な期待や不安を生む恐れがあります。例えば、AIが司法試験に合格水準の成績を収めても、それは法的知識の筆記試験に強いというだけで、実際の裁判で弁論したり依頼人と信頼関係を築いたりできるわけではありません。しかし一般にはその区別が伝わりにくく、「AI弁護士が人間を凌駕」といった誇張されたイメージが広まりかねません。逆に、「試験に受かったのは膨大な知識暗記によるものだから、AIは本当の意味では分かっていない」と過小評価される可能性もあります。要するに入試問題での評価結果の意味合いを正確に伝えないと、AIの能力について世間に誤った印象を与えるリスクがあります。
倫理的・法的課題
著作権・出題の公平性: 入試問題そのものには著作権があります。大学入試センター試験や各大学の過去問は出題機関や出版社の財産であり、許可なくAI評価のために使用・公開すると法的問題が生じる可能性があります。研究目的で内部評価に用いるだけならまだしも、詳細な問題文や解説をネット公開すれば著作権侵害になり得ます。さらに、公平性の観点ではAIが訓練で過去問を既に見ている可能性にも留意が必要です。大規模モデルはインターネット上の大量のテキストで訓練されており、市販の過去問集や解答解説を記憶している恐れがあります。その場合、入試問題をテストに使ってもAIにとっては既知の問題を繰り返しているだけかもしれません。このように評価データとしての新規性や公正さを確保する点で課題があります。教育への影響・試験の信頼性: AIが入試問題を解けるようになると、教育現場にもさまざまな波紋を及ぼします。まず試験の信頼性の低下が懸念されます。極端な例では、実際の入試で受験生がAIを不正利用するケースも現れています。トルコでは大学入試中に隠しカメラとイヤホンを使い、ChatGPTのようなAIに問題を解かせた受験生が逮捕されましたjondron.ca。このような事例が示すように、AIカンニングへの対策が課題となり、試験監督の厳格化や出題形式の見直しが迫られています。また、仮にAIが人間以上に入試で高得点を連発するようになれば、現行のテストが人間の能力選抜として適切か問われる状況にもなります。教育評価の仕組みを人間とAIの共存時代に合わせてアップデートし、記憶知識よりも創造力や問題発見能力を重視する方向に転換すべきだという議論が出てくるでしょう。現に、東ロボくんの挑戦でも「暗記だけでは解けない問題」をAIに克服させる難しさが浮き彫りになりましたdiamond.jpdiamond.jp。このことは裏を返せば、人間の教育も暗記偏重から常識的判断力や文脈理解力を養う方向への転換を示唆しています。
AIに解かせること自体の是非: 入試問題をAIに解かせて公開することへの倫理的懸念もあります。人間の受験生にとって人生を左右する真剣勝負の試験を、AIの腕試しに使うことに違和感を覚える向きもあるでしょう。特に現役の試験問題を流用すると現場の受験生に不公平が生じかねないため、通常は試験後に公開された問題や過去問で評価する必要があります。さらに、教育者の中には「AIが簡単に解ける問題ばかり教えていてよいのか」という疑問も生まれます。もしAIがほぼ満点を取れてしまう問題ばかりなら、人間にとって本当に有意義な学びになっているのか再考する契機にもなるでしょう。こうした倫理的・社会的な受容性も踏まえ、入試問題のAI評価への利用には慎重な配慮が求められます。
代替手法の検討
他の評価手法: 入試問題以外にもAI性能を測る手法は数多く提案されています。大規模言語モデルの評価では、専門領域ごとのベンチマーク（例えば医学試験やプログラミング問題集）や、創造性・常識推論を試す課題（物語の続き当てやジョークの解釈など）も用いられています。また、対話型AIなら対話の一貫性や人格的応答を評価する基準も重要です。総合的な評価を目指して、GoogleやOpenAIらはBIG-benchと呼ばれるベンチマーク集を公開しましたsyncedreview.com。BIG-benchにはコード作成やゲームプレイ、社会的バイアス検出、言語学的問題など 200以上の多様で困難なタスクが含まれ、現在のモデルでは解けない難問揃いですsyncedreview.com。こうした枠組みにより、モデルの強みと限界を詳細に分析できます。また、ARC（AI2 Reasoning Challenge）のように小中学生レベルの科学問題で推論力を試すベンチマークや、数学専用のMATHデータセットで多段論証を評価する試みもあります。これらは入試問題と似た形式も含みますが、より説明や証明過程の正確さを要求することでAIの論理的思考の深さを測ろうとしています。
新たな指標の模索: AIの知能を人間同様に評価するため、新たな指標やテストの模索も進んでいます。例えばIQテストをAIに受けさせる試みでは、最新モデルが人間平均レベルのIQスコアを示したとの報告もありますstaffing.archetyp.jp（もっともIQテストも一側面の評価に過ぎません）。スタンフォード研究者らはHELM（Holistic Evaluation of Language Models）という枠組みで、知識・推論力だけでなく真実性や頑健性、公平性など多角的にAIを評価する基準を提唱していますsyncedreview.com。さらにSRI国際研究所のグループは、AIが概念を本当に理解しているかを測る「概念の一貫性（conceptual consistency）」という新指標を開発しましたwww.sri.comwww.sri.com。これは与えられた事柄に対しAIの応答がどれほど一貫した世界モデルに基づいているかを測定し、単なる統計的関連語の出力以上の「理解度合い」を評価しようとする試みです。将来的には、物理世界での適応行動（ロボット工学的なテスト）や人間との協調作業能力といった面を測る新方式も考えられるでしょう。つまり、筆記試験型の評価だけでは捉えきれないAIの知能の側面を測定するため、様々な角度からのベンチマーク開発が重要になっています。
まとめ：入試問題評価の有用性と課題
入試問題をAI評価に活用することには長所と短所が併存しています。メリットとして、試験問題は難易度や採点基準が明確で人間の平均やトップ層との比較もしやすく、AIの学習到達度を示す指標として分かりやすい点が挙げられます。GPT-4のような最新モデルが大学入試レベルの問題で高得点を取れるようになったことは、AI研究の一つの到達点を示す象徴的な出来事でしたinternet.watch.impress.co.jpcdn.openai.com。このような結果は広く報道され、人々にAIの進歩を直感的に伝える効果もあります。また、入試問題を解かせることでどの分野が得意でどの分野が苦手かといった詳細な分析が可能になり、今後のモデル改良の指針を得ることもできます。実際に数学分野での弱点や複数処理の同時実行の課題など、入試形式のテストから具体的な技術的改善点が見えてきましたinternet.watch.impress.co.jp。