AI異常検知の「評価」を、手を動かして理解する (3/4)

2026-07-28 2026-07-28

kotai2003

〜閾値・混同行列・ROC/PR/F1 を、スライダーを動かしながら体感するチュートリアル〜

AI外観検査を導入するとき、いちばん誤解されやすいのが 「評価（evaluation）」 の部分です。
「F1 が最大の閾値に設定します」と言われても、F1 とは何か、なぜ閾値で結果が変わるのか、
100% という数字をどこまで信じてよいのか — ここが腹落ちしないまま話が進みがちです。

この記事では、ブラウザで動く教材アプリを 実際に操作しながら、異常検知の評価プロセスを
一歩ずつ体で理解していきます。数式の暗記は不要です。スライダーを動かして、
数字とグラフが一斉に動くのを眺めるだけで、評価の全体像がつかめます。

アプリ（無料・インストール不要）
https://anomalydetectiondemo.streamlit.app/

この記事を別ウィンドウで開き、アプリを操作しながら読むのがおすすめです。
表示されるデータはすべて説明用の疑似データで、実製品のデータではありません。

このチュートリアルで分かること

異常スコアと閾値の関係、そして「過検知 ⇄ 見逃し」のトレードオフ
混同行列と 5 つの評価指標（Recall / Precision / F1 など）が何を表すか
ROC / PR / F1 曲線の読み方と、閾値の 5 つの決め方
「同じ AI でも、サンプル次第で成績がブレる」という評価の落とし穴

各パートには 🖱 操作と 👀 観察を用意しました。実際にやってみてください。

Part 3. 評価曲線と「閾値の決め方」（タブ③）

ここまでは閾値を手で動かしてきました。タブ③では、
閾値を「どう決めるか」の方針を選び、その結果をグラフで比べます。タブ③をクリック します。

まず ROC 曲線 — 検出器そのものの実力

横軸 FPR（過検知率）、縦軸 TPR（Recall）。左上に近いほど優秀。
AUC（曲線の下の面積）が検出器の実力。1 に近いほど良く、この例は 0.970。
大事なのは、AUC は閾値に依存しない こと。AUC は「スコアの付け方（＝AI の実力）」そのもので、
閾値は「その実力をどう使うか」の運用選択です。

赤い点が「いま採用中の閾値」の位置。決め方を変えると、この点が曲線上を動きます。

閾値の 5 つの決め方を試す

「閾値の決め方」のボタンを切り替えて、数字がどう変わるか見ていきましょう。

F1（Recall と Precision のバランス）が最も高くなる閾値を自動で選びます。
数学的にはバランスの良い点ですが、製造現場での最適とは限りません。

② 見逃しゼロ優先

👀 観察：閾値 0.330、見逃し 0 件・Recall 100%。
ただし代償として 過検知が 53 件 に跳ね上がり、Precision は 65.4% に低下。
→「見逃しゼロ」は聞こえは良いですが、良品を止めすぎるコストがセット でついてきます。

③ 過検知率の上限

👀 観察：「良品を止めるのは 5% まで」と上限を決めると、閾値 0.455、
過検知 6 件・Precision 93.4% と過検知に厳しくなる一方、見逃しは 15 件（Recall 85.0%）に増えます。

④ 現場コスト最小化

👀 観察：見逃し 1 件のコスト = 10、過検知 1 件 = 1（見逃しが 10 倍痛い）と設定すると、
閾値 0.375、見逃しをほぼ潰し（Recall 98.0%）、そのぶん 過検知は 31 件（Precision 76.0%）を許容します。
損失の重みづけが、そのまま閾値に反映されます。