良い試験問題の作り方 — MCQの欠陥を見抜き、ブループリントで設計する

試験問題の提出締切は明日の正午。深夜の研究室で、去年の過去問ファイルを開き、数値を少し変え、選択肢の順番を入れ替える——。多くの科目で、試験問題はこうして「前日の夜」に生まれています。責めているのではありません。作問のトレーニングを受けた教員はほとんどいないのですから、これは個人の怠慢ではなく、システムの問題です。

でも、少しだけ立ち止まってみてください。前回のモジュール（評価1）で確認したとおり、評価は学生の学習を最も強力に方向づけます。深夜に急いで作った1問が、100人の学生の「何を勉強するか」を決めてしまう。だとすれば、作問の技術は講義の技術と同じくらい、教員の本業です。

多肢選択問題の解剖学 — 3つの部品

多肢選択問題（MCQ）は、世界中の医学部で最も使われている筆記試験の形式です。米国医師国家試験（USMLE）を運営するNBMEが確立した国際標準では、1問は次の3部品で構成されます。

組み上がった1問は、たとえばこうなります。

設問文 72歳男性。3日前から労作時の息切れが増悪し、夜間に起坐呼吸を認める。既往に高血圧と心房細動。脈拍112/分・不整。頸静脈怒張、両下肺にcoarse crackles、下腿に圧痕性浮腫。 リード文 この患者の呼吸困難の原因として最も考えられるのはどれか。 選択肢 a 急性心不全の増悪 ／ b 肺炎 ／ c 肺塞栓症 ／ d COPDの増悪 ／ e 腎不全による溢水

錯乱肢はいずれも高齢者の呼吸困難として実際にありうるもので、長さも揃っています。そして設問文を隠すと解けません——これが、vignetteが働いている問題の目印です。

ここでの大原則が one-best-answer（最良解一択）です。「唯一の絶対的正解」ではなく、「選択肢の中で最も適切なもの」を選ばせる。臨床の意思決定は白黒ではなくグレーの濃淡の比較ですから、この形式は実際の臨床判断と相性が良いのです。逆に「正しいものをすべて選べ」型は、後述するとおり多くの問題を抱えています。

図: MCQは設問文（vignette）・リード文・選択肢の3部品で組み立てる

作問上の欠陥 — ビフォーアフターで5つ

作問上の欠陥（item-writing flaws）とは、受験者が「知識ではなくテクニックで」正解できてしまう、あるいは「知識があるのに形式のせいで」失点してしまう構造的な不備のことです。DowningとHaladynaらの研究では、現場の試験問題のかなりの割合に何らかの欠陥が見つかることが繰り返し報告されています。代表的な5つを、悪い例→修正例で見ていきましょう。

① 手がかり — 文法的な一致と「最長選択肢」

悪い例：急性心筋梗塞の初期対応として最も適切なのはどれか。 a. 安静　b. 帰宅させる　c. 心電図モニタリングを行いながらアスピリンを投与し、速やかに再灌流療法の適応を評価する　d. 経過観察

選択肢cだけが突出して長く詳細です。試験慣れした学生は「一番長くて丁寧な選択肢が正解」と知っています。教員は正解だけ念入りに書いてしまうため、この欠陥は非常に頻度が高いのです。ほかにも、設問文の語尾と文法的に噛み合う選択肢が1つだけ、という手がかりもあります。

図: 最長選択肢が光る——知識ではなくテクニックで解けてしまう欠陥

修正：すべての選択肢を同じ長さ・同じ文法構造・同じ詳しさに揃える。錯乱肢にも正解と同じだけの手間をかけるのがコツです。

② 「すべて選べ」「正しくないものを選べ」の乱用

悪い例：心不全の症状として正しくないものはどれか。

否定形のリード文は、読み落とした学生（知識は十分ある学生を含む）を機械的に失点させます。測っているのは循環器の理解ではなく、深夜の注意力です。「すべて選べ」型も、部分的知識の扱いが曖昧で採点の解釈が難しく、one-best-answer原則から外れます。

修正：肯定形に書き換えます。「心不全で最も高頻度にみられる症状はどれか」のように、比較判断を求める形にすれば、否定形よりも高次の理解を問えます。

③ 非現実的な錯乱肢

悪い例：75歳女性の労作時呼吸困難。最も考えられる診断はどれか。 a. 心不全　b. 若年性特発性関節炎　c. 川崎病　d. 先天性代謝異常

bとdは75歳女性という設定と明らかに矛盾し、誰も選びません。5択のつもりが実質2択になり、当て推量の正答率が跳ね上がります。

修正：錯乱肢はすべて「その患者で実際に鑑別に挙がりうる」ものにします。良い錯乱肢の供給源は、実際の学生の誤答です。過去の誤答パターンや、実習で学生が実際に間違えた鑑別を思い出して書くと、もっともらしさが自然に担保されます。

④ 設問文が飾り — cover-the-options テスト

悪い例：68歳男性。3日前から……（10行の症例文）……。心房細動について正しいのはどれか。

長い症例文の後に、症例と無関係な一般知識を問うリード文が続くパターンです。学生は症例文を読み飛ばしても解けます。逆パターンとして、リード文が曖昧で、選択肢を読んで初めて何が問われているのか分かる問題もあります。

診断法として cover-the-options テストが有効です。選択肢を紙で隠し、設問文とリード文だけを読んで答えを想起できるか。できれば、その問題は焦点が定まっています。同時に、症例文を隠しても解けてしまうなら、vignetteはただの飾りです。

修正：リード文を症例に連動させます。「この患者で次に行うべき検査はどれか」「この患者の治療方針として最も適切なのはどれか」。症例の情報を使わなければ解けない問いにすることで、初めて臨床推論を測れます。

⑤ 些末な暗記の問い

悪い例：BNPの分子量に最も近いのはどれか。

臨床判断に一切影響しない数値・固有名詞・分類の細目を問う問題です。作りやすく、正解が明確なので好まれますが、測っているのは設計3で扱ったブルーム・タキソノミーの最下層「記憶」だけ。しかも実臨床では調べれば済む情報です。

修正：その知識を「使う」場面に埋め込みます。数値そのものではなく、「この患者のBNP値をどう解釈し、次に何をするか」を問う。ミラーのピラミッドでいえば Knows から Knows How へ引き上げるのです。

書き換えの型 — vignette型MCQ

5つの修正例に共通するのは、方向性が一つだということです。すなわち、具体的な患者状況（vignette）を提示し、焦点の定まったリード文で判断を問い、均質でもっともらしい選択肢から最良解を選ばせる。この型に流し込めば、欠陥の多くは自然に消えます。作問とは、ゼロから名文を書くことではなく、この型に自分の教育内容を当てはめる作業だと考えると、ぐっと気が楽になります。

試験ブループリント — 問題を書く前に設計表を

個々の問題を磨いても、試験全体が偏っていては意味がありません。ここで登場するのが試験ブループリント（試験設計表）です。家を建てる前に設計図を引くように、問題を書く前に「どの学修目標を・どの水準で・何問出すか」の表を作ります。

図: 家を建てる前の設計図のように、問題を書く前にブループリントを引く

ブループリントの効用は主に二つです。第一に、出題の偏りを防ぎます。作問を各教員に任せると、自分の専門・作りやすい領域に問題が集中し、「試験に出ない」と学生が見抜いた領域は勉強されなくなります。第二に、妥当性を担保します。妥当性とは、その試験が「測るべきもの（＝科目の学修目標）を本当に測れているか」という試験の生命線でした（評価1）。ブループリントは、試験と学修目標の対応を目に見える形にする、妥当性の最も基本的な証拠なのです。これは設計2で学んだ逆向き設計の試験版でもあります。

さらに一歩進めて、ブループリントを学生に公開するという選択肢もあります。「何が出るか」の情報戦を終わらせ、「すべての目標が問われる」と宣言することで、学生の学習を目標全体へ誘導できます。実は、いま皆さんが受講しているこの講座の修了試験自体が、ブループリント公開型で設計されています。各モジュールのアウトカムがそのまま出題範囲です。

なお、実施した試験が実際にうまく機能したか——各問題の難易度指数や識別指数をどう読むか——は、評価4「成績分布を読む」で扱います。設計（本モジュール）と検証（評価4）はワンセットです。

K教授の再設計ノート

K教授は、過去3年分のMCQ50問を印刷し、赤ペンを片手に1問ずつ点検してみました。結果は衝撃的でした。「正しくないものを選べ」が50問中11問。選択肢を隠して解けない、焦点の曖昧な問題が多数。そして最長選択肢が正解の問題が7問——そのうち5問は、K教授自身が「丁寧に書かなければ」と正解だけ加筆したものでした。平均85点の正体が見えた気がしました。学生は循環器を理解していたのではなく、K教授の作問の癖を読んでいたのかもしれません。

K教授はまず、設計2で書き直したアウトカム「心不全患者の病態を評価し、初期対応を計画できる」を左端に並べたブループリントを作りました。すると、心電図の細目知識を問う問題が18問もある一方、心不全の臨床推論を問う問題はわずか3問という偏りが一目瞭然になりました。翌週から、欠陥の多い問題を廃棄し、病棟で実際に出会う場面をvignetteにした問題への書き換えを開始。1問作るのに以前の3倍の時間がかかりますが、「この50問が学生の勉強を決めるなら、講義12コマ分の価値がある投資だ」と考えることにしました。

まとめ

多肢選択問題は設問文・リード文・選択肢の3部品からなり、one-best-answer原則で書くのが国際標準です。文法的手がかりや最長選択肢、否定形リード文、非現実的な錯乱肢、飾りのvignette、些末な暗記——代表的な作問上の欠陥は、パターンさえ知れば特別な才能がなくても発見・修正できます。cover-the-options テストのような簡単な自己点検法も使えます。そして個々の問題の手前に、試験ブループリントがあります。学修目標×問題数の設計表を先に作ることが、出題の偏りを防ぎ、試験の妥当性を担保する最も確実な方法です。次のモジュールでは、筆記試験では測れない「実際にできるか」を評価する道具——OSCE・ルーブリック・mini-CEX——に進みます。

さらに学ぶために

• Case SM, Swanson DB. Constructing Written Test Questions for the Basic and Clinical Sciences. National Board of Medical Examiners（NBME）— vignette型MCQ作成の世界標準マニュアル。無料公開されており、本モジュールの内容を実例豊富に深掘りできます。
• Downing SM, Haladyna TM. Handbook of Test Development. 2006 — 作問上の欠陥研究の第一人者らによる試験開発の包括的ハンドブック。ブループリント設計の章が特に有用です。
• van der Vleuten CPM. The assessment of professional competence: developments, research and practical implications. Advances in Health Sciences Education. 1996 — 妥当性・信頼性を含む評価のユーティリティ概念の原典。評価1の復習にも。
• Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine. 1990 — ミラーのピラミッドの原著。MCQが測れる水準と測れない水準を区別する視点を与えてくれます。
• 文部科学省『医学教育モデル・コア・カリキュラム（令和4年度改訂版）』— ブループリントの行に置く学修目標の全国的な参照枠として。