Lab
その精度は、
どこで線を引いた話か。
AI が出しているのは OK / NG ではなく、連続した点数です。 どこから NG にするかを決めているのは人間の側で、その線を動かすと 見逃しと過検出は必ず入れ替わります。 その入れ替わりを、ブラウザで自分の手で動かして確かめられるデモを公開しています。
インストール不要 ／ ログイン不要 ／ アカウント登録不要
★ 画面に出ている分布は、操作パネルで指定した条件からその場で生成した模擬データです。 当社の実機の評価出力ではありません。実測値のほうは 評価と運用の読み方 → に置いています。
公開のいきさつは お知らせ →。
Contents
4 つのタブで、
何が見られるか。
左の操作パネルは全タブ共通です。しきい値と、ラインの実力 （良品と欠陥それぞれの分布の中心・ばらつき・分布形状・外れ値）を動かすと、 4 つのタブが同時に描き替わります。
「分布で見る」と「1 サンプルずつ見る」を左右に並べ、 同じしきい値の線を両方に引きます。線を動かすと、OK 側と NG 側のどちらに何件落ちるかが入れ替わる。 分布の重なりが大きいほど、どこに引いても取りこぼしが残ることが目で分かります。
TN・FP・FN・TP の 4 マスに件数が入ります。 専門用語だけでなく「良品を正しく通過」「過検知：良品を止めた」「見逃し：欠陥を通した」「欠陥を正しく停止」 と現場の言葉が併記されるので、どの数字がどの損失に当たるかを取り違えません。
決め方を 5 通りから選べます ── 手動設定 ／ F1 最大 ／ 見逃しゼロ優先 ／ 過検知率の上限 ／ 現場コスト最小化。 選んだ決め方に応じて、採用中のしきい値が ROC 曲線・PR 曲線のどこに乗るかが動きます。
ここだけデータの作り方が違います。 先に母集団（ラインの真の実力）を置き、そこから決まった枚数だけ抜き取って、 そのサンプルだけでしきい値を決めて評価する ── という現場の手順を何度も繰り返します。 実力は変えていないのに、しきい値も成績もぶれることが実測で出ます。
Screens
4 つのマスと、
2 本の曲線。
開く前に、中で何が出てくるかを 2 枚だけ載せておきます。 どちらも操作パネルの値を変えると、その場で描き替わります。
タブ② ── 混同行列。件数の多さで色の濃さが変わるので、 どのマスが効いているかが先に目に入ります。しきい値を動かすと 4 つの数字が同時に動きます。
タブ③ ── 曲線と決め方。採用中のしきい値・過検知・見逃し・Recall・Precision が 横一列に出て、その値が曲線のどこに当たるかが点で示されます。
Scope
デモは仮定、
実機は実測。
このデモで分かるのは指標どうしの関係であって、当社の装置の実力ではありません。 逆に、実機がどこまで出せているかは実測値のほうにしかありません。 混ざらないように、置き場所を分けています。
データは操作パネルの条件から生成した模擬データ。 分布・しきい値・サンプル数を自分で決められるので、 「うちのラインの分布だったらどうなるか」を手元で試せます。 分かるのは指標どうしの関係という一般論です。
こちらは実案件の評価出力そのものを載せています。 読者が置くのは「現場の不良率」などの仮定だけで、分布そのものは動かせません。 測った値・そこから計算した値・読者の仮定を、見た目で分けてあります。