実習最終週の金曜日。医局のデスクに、事務から回ってきた実習評価表が置かれています。「知識・技能・態度、それぞれ5段階で評価してください」。あなたはペンを持ったまま考えます。——A君、熱心だったな。カンファレンスでもよく発言していたし……4かな、いや5でもいいか。ところが後日、同じA君を評価した同僚は3をつけていたと知ります。同じ学生を見て、なぜ2点も違うのか。そもそも自分は、A君が患者さんを診察している場面を、何分見ただろうか。
筆記試験なら答案が残ります。しかし「診察ができる」「手技ができる」の評価は、観察したその瞬間に消えていく行動を、評価者の頭の中で点数に変換する作業です。今回は、この難しい仕事を支える道具立てを見ていきます。
「知っている」と「できる」の間 — Shows how / Does を測る
前々回に登場したミラーのピラミッドを思い出してください。Knows（知っている）、Knows how（方法を知っている）までは筆記試験で測れます。しかし Shows how（やってみせる）と Does（実際の現場でやっている）は、実際の行動を観察するしかありません。
図: 今回の主役はピラミッドの上2段 — 筆記試験では届かない領域
| 階層 | 問い | 主な評価方法 |
|---|---|---|
| Knows / Knows how | 知っているか・説明できるか | 多肢選択問題、口頭試問 |
| Shows how | 試験環境でやってみせられるか | OSCE、シミュレーション教育 |
| Does | 日常診療で実際にやっているか | mini-CEX、DOPS、ポートフォリオ評価、多面評価 |
K教授の悩み——「MCQは平均85点なのに病棟で心不全患者を評価できない」——は、まさにピラミッドの下2段しか測っていなかったことの帰結です。
OSCE — 「やってみせる」を公平に測る仕掛け
OSCE（客観的臨床能力試験）は、Shows how を測る代表的な形式です。基本構造はシンプルで、受験者が複数の ステーション を順に回り、各ステーションで決められた課題（医療面接、身体診察、手技など）を制限時間内に実演します。患者役は訓練を受けた 標準模擬患者 が演じ、どの受験者にも同じ症状・同じ反応を提示します。評価者は評価票に沿って採点します。
評価票には大きく2つの流儀があります。
| 方式 | 特徴 | 向いている場面 |
|---|---|---|
| チェックリスト | 「聴診器を当てた」等の行動を項目ごとに○×で採点 | 手順が明確な手技、初学者の評価 |
| 全体評定（global rating） | 「面接の構成」「患者への配慮」等の次元を段階尺度で評定 | 統合的な臨床能力、上級学年の評価 |
かつては「チェックリストのほうが客観的」と考えられていましたが、経験を積んだ評価者による全体評定は、チェックリストと同等以上の信頼性を示すことが知られています。項目を細かく刻むほど、かえって「手順はなぞれるが臨機応変さのない」演技を高く評価してしまうこともあるのです。
mini-CEX と DOPS — 現場そのものを評価の場にする
OSCEは優れた形式ですが、準備コストが大きく、しょせんは試験環境です。Does の階層、つまり実際の診療現場での行動を測るには、職場基盤型学習の場に評価を持ち込む必要があります。その代表が mini-CEX と DOPS です。
| mini-CEX | DOPS | |
|---|---|---|
| 観察対象 | 実際の患者への医療面接・身体診察・臨床判断 | 実際の患者への手技（採血、縫合など） |
| 所要時間 | 観察15〜20分＋フィードバック5〜10分 | 手技の所要時間＋フィードバック数分 |
| 回数 | 異なる患者・異なる評価者で年に複数回 | 手技ごとに複数回 |
本学にも mini-CEX の様式があります。観察は20分程度、評価項目は病歴・身体診察・コミュニケーション・臨床判断・プロフェッショナリズム・マネジメント・総合の7つ。1〜6の6段階で、様式にはこう書かれています——「医学生として望まれる能力を満たす場合に4を、それ以上の場合に5（学生としては優秀）、6（研修医と遜色ない優秀さ）を、ボーダーラインで3を、能力が明らかに劣る場合に2、1を付ける」。つまり4が標準です。観察していない項目には「評価不能」を付けます。実習要項には「できるだけ間を置かずに直接フィードバックする」「“ダメ出し”だけでなく良かった点も挙げる」と明記されています。
運用の鍵は3点セットです。短時間（1回の負担を軽くする）、複数回（1回の観察は当てにならないので、異なる場面・異なる評価者で回数を重ねて信頼性を稼ぐ）、そして 即時フィードバック（観察直後にその場で伝える）。この3つ目が特に重要で、mini-CEXの価値の半分以上は総括的評価ではなく形成的評価——つまり観察直後の具体的なフィードバックにあります。「評価表を書いて提出して終わり」では、この道具のいちばんおいしい部分を捨てていることになります。
図: mini-CEX運用の3点セット — 短時間・複数回・即時フィードバックの循環
ルーブリックの解剖学 — 規準×水準×記述語
さて、OSCEでもmini-CEXでも実習評価でも、観察を点数に変換する場面では共通の道具が使えます。それが ルーブリック です。ルーブリックは3つの部品でできています。
- 評価規準（criteria）: 何を見るのか。例: 病歴聴取、身体診察、プレゼンテーション
- 水準（levels）: 何段階に分けるのか。例: 期待を超える／期待どおり／要指導 の3段階
- 記述語（descriptors）: 各規準×各水準のマスに入る、「その水準の行動はどんな姿か」の具体的な記述
図: ルーブリックの3部品 — 規準×水準の格子を記述語で埋める
身近な実物で確かめてみましょう。本学のクラークシップ共通評価表には、二つの書き方が同居しています。
| 評価項目 | 3 | 2 | 1 |
|---|---|---|---|
| 適切な症例提示能力 | 紙を見ないで状況に応じ、明確に提示した | 紙を見ないでも提示できたが、状況に応じた提示はできなかった | 紙を見ながらでないと提示できなかった |
| 姿勢・基本的マナー | 真摯であった | 十分であった | 問題なかった |
「適切な症例提示能力」の記述語は誰が見ても判定できます。一方「姿勢・基本的マナー」の記述語は評価者によって解釈が割れます——同じ一枚の様式の中で、です。記述語を行動で書くというのは、この上段の書き方を全部の欄に広げる、というだけのことです。
例として、心不全患者の病歴聴取に関するミニ・ルーブリックを見てみましょう。
| 評価規準 | 要指導 | 期待どおり | 期待を超える |
|---|---|---|---|
| 症状の聴取 | 呼吸困難の有無しか聞いていない | 呼吸困難の増悪因子・体位との関係・経過を系統的に聴取する | 左記に加え、症状から重症度分類を意識した質問を組み立てる |
| 生活背景 | 服薬・食事について質問していない | 服薬状況と塩分・水分摂取を具体的に聴取する | 左記に加え、怠薬や食事逸脱の背景要因まで掘り下げる |
ここで最も大切なのは、記述語を 観察可能な行動 で書くことです。「態度が良い」「理解が深い」では、評価者の頭の中の basis が揃いません。「患者の言葉を遮らずに開放型質問から始める」なら、誰が見ても判定できます。お気づきでしょうか——これは学修目標の回で学んだ行動動詞の話の再登場です。良い学修目標と良い記述語は、同じ文法で書かれているのです。
観察評価の誤差 — 敵を知る
人間が人間を評価する以上、系統的な誤差（バイアス）は避けられません。代表的なものを知っておくだけで、自分の採点を一歩引いて見られるようになります。
| 誤差 | 何が起きるか | 典型例 |
|---|---|---|
| ハロー効果 | 目立つ一つの印象が他の項目の評価まで引きずる | プレゼンが上手な学生の身体診察まで高くつける |
| 中心化傾向 | 極端な評点を避け、皆を真ん中に寄せる | 5段階でほぼ全員が3 |
| 寛大化傾向 | 全体に甘くつける | ほぼ全員が4か5で、差がつかない |
対策も定番が確立しています。第一に 評価者訓練。同じ演技ビデオを複数の教員で採点し、評点がずれた箇所を議論する——これだけでも評価者間のばらつきは目に見えて縮まります。第二に 複数評価者。一人の癖は消せなくても、複数の観察を集めれば誤差は平均化されます。第三に 行動アンカー。尺度の各段階に「3とはこういう行動」という具体的な行動記述を貼り付けることで、評価者ごとの「3」の意味を揃えます。ルーブリックの記述語は、まさにこの行動アンカーそのものです。
なお、この延長線上に、卒後教育で広がりつつある EPA——信頼して任せられる専門業務——という考え方があります。「この研修医に、指導医の直接監督なしで初期対応を任せられるか」という 任せられるかどうか を単位に評価する発想で、観察評価の実務的な到達点の一つといえます。
K教授の再設計ノート
実習評価表を前に、K教授は正直に認めた。今まで自分がつけてきた5段階は、回診中の受け答えの印象——つまり印象点だった。学生の病歴聴取を最初から最後まで観察したことは、実は一度もない。
そこでK教授は、循環器実習のコア課題を「心不全患者を評価できる」に絞り、評価規準を3つ——病歴聴取・身体診察・アセスメントと計画——に決めた。各規準に3水準の記述語を書く。「うっ血所見（頸静脈怒張・浮腫・肺ラ音）を系統的に診察する」のように、観察できる行動だけで書くよう気をつけた。書いてみると、これは学修目標の書き直し作業と同じだと気づく。設計3でやったことが、そのまま評価表になった。
運用はmini-CEX方式にした。実習中に2回、指導医が実際の患者への診察を15分観察し、直後に5分フィードバックする。導入前には医局で評価者訓練を1回——同じ学生の診察ビデオを全員で採点したら、初回は評点が2点も割れて、皆が苦笑いした。記述語を指差しながら議論して、ようやく「期待どおり」の目線が揃った。「評価表を作るより、この30分の議論のほうが効いた気がするよ」とK教授は言う。
まとめ
筆記試験が測れるのはミラーのピラミッドの下半分までで、Shows how はOSCE、Does はmini-CEXやDOPSといった現場観察で測ります。運用の鍵は短時間・複数回・即時フィードバックの3点セットでした。観察を点数に変えるときの共通の道具がルーブリックで、評価規準・水準・記述語という3部品からなり、記述語は観察可能な行動で書くのが鉄則です。そして観察評価にはハロー効果・中心化傾向・寛大化傾向という系統的な誤差がつきものですが、評価者訓練・複数評価者・行動アンカーという定番の対策で十分に縮められます。完璧な観察評価は存在しません。しかし、誤差を知り、道具を整え、複数の目で見る——それだけで「印象点」は「根拠のある評価」に変わります。
さらに学ぶために
- Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine. 1990 — Shows how / Does の議論すべての出発点。4層ピラミッドの原典として一読の価値があります。
- Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Medical Education. 1979 — OSCEの原典。半世紀近く前の論文ですが、設計思想は今も新鮮です。
- Norcini JJ, et al. The mini-CEX: a method for assessing clinical skills. Annals of Internal Medicine. 2003 — mini-CEXの実装と信頼性データ。「複数回の観察が効く」ことを実証的に示しています。
- van der Vleuten CPM. The assessment of professional competence: developments, research and practical implications. Advances in Health Sciences Education. 1996 — 評価のユーティリティの枠組み。信頼性・妥当性・コストのトレードオフを考える土台になります。
- ten Cate O. Entrustability of professional activities and competency-based training. Medical Education. 2005 — EPA（信頼して任せられる専門業務）の提唱論文。卒後評価の潮流を知りたい方に。