良い試験問題の作り方 — 5つの欠陥とブループリント

コールドオープン（約30秒）

[映像] 深夜の研究室。デスクライトの下、過去問の紙の束と赤ペン。1問がアップになる。

[テロップ] その1問が、100人の勉強を決める

講師：深夜、締切前夜に作った試験問題。ちょっと意地悪なテストをしてみましょう。その問題の症例文を、紙で隠してみてください。……それでも解けてしまいませんか？　あるいは、一番長い選択肢を選んでみてください。……正解ではありませんか？　もしそうなら、その問題が測っているのは医学の理解ではなく、試験のテクニックかもしれません。今日は、良い試験問題の作り方です。

セクション1：MCQの解剖学（約1分半）

[映像] MCQ1問が3色に分解されるアニメーション。設問文・リード文・選択肢。

講師：多肢選択問題は、3つの部品でできています。患者の状況を描く設問文、いわゆるvignette。何を問うかを1文で示すリード文。そして選択肢です。国際標準の大原則は one-best-answer。唯一の絶対的正解ではなく、「最も適切なもの」を1つ選ばせる形式です。臨床の判断は白か黒かではなく、グレーの濃淡の比較ですから、この形式は実際の臨床推論と相性が良いのです。

[テロップ] 設問文（vignette）／リード文／選択肢 × one-best-answer

セクション2：5つの作問上の欠陥（約2分半）

[映像] 悪い例の問題が画面に出て、赤ペンで添削され、修正例に変わっていく。5連続。

講師：作問上の欠陥、つまり知識がなくても解けてしまう、あるいは知識があっても失点してしまう構造的な不備には、決まったパターンがあります。代表的な5つを挙げます。

第一に、手がかり。一番長くて丁寧な選択肢が正解になっている問題です。教員は正解だけを念入りに書いてしまうので、これは非常に多い。錯乱肢にも同じ手間をかけ、長さと構造を揃えます。

第二に、「正しくないものを選べ」や「すべて選べ」の乱用。否定形は、知識のある学生を読み落としで失点させます。測っているのは注意力です。肯定形の比較判断に書き換えましょう。

第三に、非現実的な錯乱肢。75歳女性の鑑別に川崎病が並んでいたら、5択は実質2択です。錯乱肢は、実際に学生が間違えそうなものから作ります。

第四に、飾りのvignette。長い症例文のあとに、症例と無関係な一般知識を問うパターンです。診断法は簡単で、症例文を隠しても解けるかどうか。逆に、選択肢を隠して設問文だけで答えを想起できるか、というcover-the-optionsテストも有効です。

第五に、些末な暗記。調べれば済む数値や固有名詞ではなく、その知識を「この患者でどう使うか」を問いましょう。

[テロップ] ①手がかり ②否定形 ③非現実的錯乱肢 ④飾りのvignette ⑤些末な暗記

セクション3：試験ブループリント（約1分半）

[映像] 白紙の表に、学修目標×問題数のマス目が埋まっていく。偏った表と均等な表の対比。

講師：個々の問題を磨いても、試験全体が偏っていたら台無しです。そこで、問題を書く前に試験ブループリント、つまり学修目標ごとに何問を、どの水準で出すかの設計表を作ります。ブループリントの効用は2つ。出題の偏りを防ぐこと。そして、試験が学修目標を本当に測っているという妥当性の証拠になることです。K教授が過去問50問を並べてみたところ、心電図の細目知識が18問、心不全の臨床推論はたった3問。表にして初めて、偏りが見えたのです。ちなみに、この講座の修了試験自体も、各モジュールのアウトカムをそのまま出題範囲とするブループリント公開型で作られています。

[テロップ] 試験ブループリント＝学修目標 × 問題数の設計表

まとめと次回予告（約45秒）

[映像] 5つの欠陥とブループリントの図が1枚に集約される。

講師：まとめます。MCQは設問文・リード文・選択肢の3部品を、one-best-answer原則で組み立てる。5つの作問上の欠陥は、パターンを知れば誰でも見つけて直せる。そして問題を書く前に、ブループリントで試験全体を設計する。作られた試験がうまく機能したかは、難易度指数や識別指数を読む、評価編の第4回で検証します。次回は、筆記では測れない「実際にできるか」を評価する道具、OSCE・ルーブリック・mini-CEXです。お疲れさまでした。

[テロップ] 次回：パフォーマンス評価 — OSCE・ルーブリック・mini-CEX