年度末の成績判定会議。配られた一覧表には、各科目の平均点がずらりと並んでいます。平均92点の科目もあれば、58点の科目もある。一瞬の沈黙のあと、誰かが言います。「まあ、科目によって難しさが違いますから」。そして会議は次の議題へ——。

多くの医学部で繰り返されてきた光景ではないでしょうか。この講座の最初のモジュール（設計1）で、私たちはこう述べました。科目間の成績のばらつきは、教員個人の力量の問題ではなく、教育を語る共通の「設計言語」が不在であることの問題だ、と。このモジュールは、その問いにデータの言葉で答えを返す回です。成績一覧を「気まずい資料」から「改善の資料」に変える読み方を、一緒に見ていきましょう。

成績分布は通知表ではなく、レントゲン写真である

平均点だけを見ると、成績は「学生の出来」の要約に見えます。しかし分布の形まで見ると、そこに写っているのはむしろ科目の設計です。目標の高さ、授業の届き方、試験の測定力——そのすべてが分布の形に痕跡を残します。まずは典型的な3つのパターンを押さえましょう。

分布の形見え方まず疑うべき設計上の問題
天井効果平均85点超、ほぼ全員が高得点帯に密集試験が易しすぎる／目標水準が低い／想起レベルの出題に偏っている
二峰性高得点の山と低得点の山が二つできる授業が一部の学生にしか届いていない／前提知識の格差／まれに不正行為
極端な低平均平均50点未満、全体が低得点側に寄る目標・授業・試験の不整合——教えていないことを問うている

天井効果・二峰性・極端な低平均という3つの典型的な成績分布パターンを並べた図

図: 分布の形はそれぞれ異なる設計上の問題を示唆する——天井効果・二峰性・極端な低平均

天井効果は一見めでたい結果です。しかし「全員が目標に到達した」のか「試験が差を測れていないだけ」なのか、平均点からは区別できません。臨床能力の獲得には本来かなりの個人差があるはずで、それがまったく見えない試験は、体温計が全員に36.5度を返しているようなものです。

二峰性は平均点に隠れます。平均72点——数字だけ見れば普通ですが、ヒストグラムを描くと90点前後の集団と55点前後の集団に割れていることがある。これは「授業についてこられた層」と「早い段階で置いていかれた層」への分断のサインであることが多く、教え方や学修支援の見直しを促す所見です。

極端な低平均が出たとき、私たちはつい「今年の学生は勉強していない」と考えたくなります。しかし学年集団の学力が1年で激変することは考えにくい。まず疑うべきは、学修目標と授業内容と試験問題の三者がずれていないか、つまり整合の破綻です。

ひとつ注意を。分布は仮説を生成する道具であって、原因を断定する道具ではありません。レントゲンに影が写ったら精査に進むように、分布の異常は「次に何を調べるか」を教えてくれるものです。

問題単位で診る — 難易度指数と識別指数

分布が科目全体のレントゲンなら、個々の試験問題を診る聴診器が難易度指数と識別指数です。数式はほとんど要りません。

難易度指数は、その問題の正答率です（0〜1で表します）。名前に反して、値が大きいほど「易しい」問題です。正答率0.95の問題は、ほぼ全員が解けるので合否の判定にはほとんど寄与しません。一般に、合否を分ける総括的評価では0.3〜0.8程度の問題が中心になるのが望ましいとされます。

識別指数は、「試験全体の成績が良い学生ほど、その問題に正答しているか」を表す指標です。素朴なやり方では、総得点の上位群と下位群それぞれの正答率の差をとります。差が大きい（たとえば0.3以上）なら、その問題はできる学生とそうでない学生をよく見分けている良問です。ゼロに近ければ誰の間にも差がつかない問題。そしてマイナスなら要注意——上位の学生ほど間違えているわけで、問題文の曖昧さ、複数正解、正答の誤登録など、作問上の欠陥（評価2で扱いました）を強く疑うサインです。

棒グラフに聴診器を当てる図——難易度指数と識別指数で個々の試験問題を診断する項目分析のメタファー

図: 難易度指数と識別指数は、個々の試験問題を診る「聴診器」

この2つの指数は、多くの採点システムが自動で出してくれます。計算そのものより、試験後に一度この数字を眺める習慣を持つことが、作問技術をもっとも確実に向上させます。

「合格点は60点」——その根拠を言えますか

分布を読み、問題を診たら、次の問いが待っています。そもそも合格点はどこに引くべきなのか。

評価の判定には2つの発想があります。集団準拠評価は、集団内の相対的な位置で判定する方式です。偏差値や「上位10%に入れば優」がこれにあたり、限られた枠への選抜には適しています。一方基準準拠評価は、あらかじめ定めた到達基準に照らして判定する方式です。医師養成の評価は本質的にこちらです。「同級生より上か」ではなく、「患者を安全に診療できる水準に達しているか」が問いだからです。周りの出来が悪ければ合格ラインが下がる、という事態を許すわけにはいきません。

なお、基準準拠が本筋であることと、現実の試験制度がすべてそうなっていることは別の話です。たとえば医師国家試験の合格基準は、現在、必修問題（絶対基準）を除き、受験者集団の成績分布に基づく相対基準で設定されています。制度側の事情で相対基準が使われる場面はありますが、自分の科目の合否判定を設計するときの原則は基準準拠——この区別を知っておくと、制度と設計を混同せずにすみます。

では、その基準はどう決めるのか。多くの科目の「60点合格」は、正直なところ慣習であって根拠ではありません。ここで登場するのが基準設定——合格ラインを体系的な手続きで決めるプロセスです。

堤防に引かれた水位線の図——合格ラインを体系的な手続きで定める基準設定のメタファー

図: 合格ラインは慣習ではなく、根拠を説明できる「水位線」として引く——基準設定

代表的な方法がAngoff法です。手続きの骨格はシンプルです。

  1. 複数の教員（内容の専門家）が集まる
  2. 「ぎりぎり合格レベルの学生」——ボーダーラインの学生像を全員で共有する
  3. 各問題について、「そのボーダーラインの学生が正答する確率」を各自が見積もる
  4. 見積もりを問題ごとに平均し、全問題分を合計した値を合格点とする

たとえば50問の試験で、見積もりの合計が32.5点なら、合格点は65点（100点満点換算）です。専門家の判断に基づく以上、完全に客観的な方法ではありません。しかし「なんとなく60点」との決定的な違いは、合格点の根拠を他者に説明できることです。判断の過程が記録され、透明で、翌年も再現できる。評価の公正性とは、この説明可能性のことなのです。

科目の外へ — プログラム評価とカークパトリック・モデル

ここまでは1つの科目の中の話でした。しかし学生が卒業時に到達すべき学修成果は、科目の寄せ集めではなくカリキュラム全体で保証するものです。カリキュラム全体としての教育がうまくいっているかを体系的に検証する営みをプログラム評価と呼びます。

その最も有名な枠組みがカークパトリック・モデルです。教育介入の効果を4つの段階で問います。

レベル問い医学教育での例
1. 反応学習者は満足したか授業アンケート、FDの満足度
2. 学習知識・技能は身についたか筆記試験、OSCE
3. 行動現場での行動は変わったか臨床実習でのパフォーマンス、mini-CEX
4. 成果組織や社会への成果はあったか国家試験合格率、卒業生の診療の質

胸に手を当てたくなるのは、多くの教育改善がレベル1で評価を止めていることです。「学生アンケートの満足度が高かった」は出発点にすぎません。試験はできるのに病棟で動けない——K教授が最初に抱えた悩みは、まさにレベル2とレベル3の乖離そのものでした。教育の質保証とは、この階段を上へ上へと確かめていく営みです。

そして、科目を超えたデータ——各科目の成績分布、GPA、進級状況、国家試験、卒後の追跡——を組織として収集・分析し、教育の意思決定を支える機能がインスティテューショナル・リサーチ（IR）です。IRの視点に立つと、冒頭の成績判定会議の風景が変わって見えます。科目間で分布がばらつくのは、各教員の資質の問題ではなく、難易度指数・識別指数・基準設定といった共通の設計言語を組織がまだ持っていないことの現れです。分野別認証評価がプログラム評価とIRの体制を求めるのも、教育の質を個人の頑張りではなく仕組みで保証するためです。設計1の主張は、こうしてデータの言葉で回収されます。

K教授の再設計ノート

K教授は、IR室に依頼して過去3年分の「循環器」の成績データを取り寄せました。旧試験の分布は、みごとに天井に張りついていました。平均85点、90点台に半数以上。問題ごとに見ると、難易度指数0.9以上の問題が7割、識別指数が0.1未満の問題が半分以上——つまり、ほとんどの問題が「誰も見分けていなかった」のです。

評価2で作り直したMCQと、評価3で導入した実習ルーブリックによる今年の評価は、様相が違いました。筆記の平均は78点に下がりましたが、分布は素直に広がり、識別指数0.3以上の問題が大幅に増えました。K教授は同僚2人と簡易版のAngoff法を試み、ボーダーライン学生像を議論した上で合格点を64点に設定しました。「なんとなく60点」から「説明できる64点」へ。

そして気づきます。かつての平均85点は、到達の証明ではなく測定の失敗だった。あの数字を見て安心していた自分は、体温計の故障を健康の証と読み違えていたのだ、と。次に確かめたいのはカークパトリックのレベル3です。筆記成績と病棟でのmini-CEXの結果はどう相関するのか——K教授はIR室との定例ミーティングを申し込みました。

まとめ

成績分布は学生の格付け表である前に、科目設計を写すレントゲン写真です。天井効果は目標水準や測定力の不足を、二峰性は授業の届き方の分断を、極端な低平均は目標・授業・試験の不整合を疑わせます。問題単位では難易度指数と識別指数が聴診器の役割を果たします。合格点は慣習ではなく基準設定で決めるもの——医師養成は基準準拠評価が本筋であり、Angoff法を使えば「根拠を説明できる合格点」が作れます。そして科目の外に出れば、カークパトリックの4段階が「満足度で止まらない」評価の階段を示し、インスティテューショナル・リサーチが科目間のばらつきを組織の設計課題として扱う土台になります。分布のばらつきは誰かの責任追及の材料ではなく、共通の設計言語を育てるための最良の教材なのです。

次のモジュール（評価5）は評価編の最終回。構成的整合のマトリクスを使って、あなた自身の科目を点検します。

さらに学ぶために