AI異常検知の「評価」を、手を動かして理解する (2/4)
kotai2003〜 閾値・混同行列・ROC/PR/F1 を、スライダーを動かしながら体感するチュートリアル 〜
AI外観検査を導入するとき、いちばん誤解されやすいのが 「評価（evaluation）」 の部分です。
「F1 が最大の閾値に設定します」と言われても、F1 とは何か、なぜ閾値で結果が変わるのか、
100% という数字をどこまで信じてよいのか — ここが腹落ちしないまま話が進みがちです。
この記事では、ブラウザで動く教材アプリを 実際に操作しながら、異常検知の評価プロセスを
一歩ずつ体で理解していきます。数式の暗記は不要です。スライダーを動かして、
数字とグラフが一斉に動くのを眺めるだけで、評価の全体像がつかめます。
アプリ（無料・インストール不要）
https://anomalydetectiondemo.streamlit.app/この記事を別ウィンドウで開き、アプリを操作しながら読むのがおすすめです。
表示されるデータはすべて説明用の疑似データで、実製品のデータではありません。
このチュートリアルで分かること
- 異常スコアと閾値の関係、そして「過検知 ⇄ 見逃し」のトレードオフ
- 混同行列と 5 つの評価指標（Recall / Precision / F1 など）が何を表すか
- ROC / PR / F1 曲線の読み方と、閾値の 5 つの決め方
- 「同じ AI でも、サンプル次第で成績がブレる」という評価の落とし穴
各パートには 🖱 操作 と 👀 観察 を用意しました。実際にやってみてください。
https://www.tomomi-research.com/archives/5666
Part 2. 混同行列と評価指標 — 4 つの箱と 5 つの成績（タブ②）
タブ①で見た結果を、表と成績表にまとめたのがタブ②です。上のタブ②をクリック してください。
混同行列（4 つの箱）
判定結果は必ず次の 4 つのどれかに入ります。色が濃い箱ほど件数が多い、というだけの意味です。
| AI：OK と判定 | AI：NG と判定 | |
|---|---|---|
| 実際：良品 | TN（正しく通過）109 | FP＝過検知 11 |
| 実際：欠陥 | FN＝見逃し 12 | TP（正しく停止）88 |
まずは FP＝過検知 と FN＝見逃し の 2 つだけ覚えれば十分です
（TN・TP は「正解できた分」なので後回しで OK）。
5 つの評価指標
画面を少し下にスクロールすると、成績表が出ます。
名前は難しそうですが、意味はシンプルです。
| 指標 | ざっくりの意味 | この例 |
|---|---|---|
| Recall（検出率） | 欠陥のうち何 % を捕まえたか | 88.0% |
| Specificity | 良品のうち何 % を正しく通せたか | 90.8% |
| Precision（適合率） | 「NG」と言ったうち何 % が本当に欠陥か | 88.9% |
| Accuracy | 全部のうち何 % が正解だったか | 89.5% |
| F1 Score | Recall と Precision のバランス点数 | 0.884 |
🖱 操作 4：閾値を動かして「連動」を体感する
サイドバーの閾値スライダーを動かしてみてください。
4 つの箱と 5 つの指標が、いっせいに動きます。
ここが評価の要点です。混同行列も評価指標も、すべて「同じ 4 つの数字」から計算されている。
だから閾値をひとつ動かすだけで、成績表の全部が連動して変わるのです。
💡 指標が「—」と出ることがあります。これは「割り算の分母が 0 で 計算できない」の意味で、
「0 点だった」ではありません（例：NG と判定した物が 1 つも無いと Precision は計算不能）。
