RobustMAD: 工場の検査を任せられる「小さなAI」はどこまで信用できるか

2026-07-18 2026-07-18

kotai2003

「この画像に欠陥はありますか?」——そう聞けば、AIはケーブルの傷を正しく見つける。ところが「欠陥が無いことを確認してください」と言い換えただけで、同じ画像に「問題ありません」と答えてしまう。検査でこの反転は、見逃し、つまり事故に直結する。工場に置ける小さな検査AIが、こうした揺さぶりにどこまで耐えるか。それを初めて体系的に測ったのがRobustMADだ。

なぜ「言葉で答える検査AI」を、4Bに詰め込むのか

工業検査は、画像を見て「異常スコア」だけを返すAIから、言葉で説明し対話できるAIへ移りつつある。「これは何の部品で、どこがどう傷み、なぜ問題か」まで語れるのが魅力だ。

だが高性能なこの種のAIは大きく、クラウドでしか動かない。工場でクラウドに頼ると、現場では飲めない代償が3つ生じる。①1〜2秒の通信遅延——毎分200個が流れるラインには致命的だ。②検査画像を社外に送る情報漏洩リスク。③使うたびの従量課金。

だから期待されるのが、40億パラメータ(4B)以下でライン脇の端末上で動く小型モデル(MSLM)だ。重みは数GBで検査用PCに載り、データを工場の外に一歩も出さず即座に答える。ただし、その「現場での頑健性」を測る物差しが、これまで無かった。

意外な健闘――だが「平均88%」のからくり

RobustMADが評価した4B級の小型AI6種のうち、トップのQwen3-VL-4Bは、選択式問題の正解率で88.31%に達した。比較用のGPT-5 Nanoや、より大きなPhi-4(6B)を上回る。

なぜ小さいのに勝てるのか。同じ言語モデルを積んだ別モデルが大きく劣ることから、著者は差を「視覚側の設計」に見る。複数の視覚層を言語モデルへ流し込み、画像と言葉の対応を密にする仕組み(DeepStack)や、強い教師AIからまねて学ぶ蒸留。大きさではなく「鍛え方」の差だ。ただし相手は6Bと効率重視の商用小型モデルで、比較用モデルで首位のGemini 3 Flashには、どのMSLMも届かない。巨人退治の物語ではない。

88%にはからくりがある。この数字は「物体の名前当て」のような易しい問題(97.6%)で押し上げられた平均で、安全に直結する「欠陥を見つける」課題だけなら、最良のQwen3-VL-4Bでも約77%まで落ちる。

graph TD
    ALL["選択式全体 正解率 88.31%"]
    A["比較的易しい課題 物体の名前当て 97.6%"]
    B["安全に直結する課題 欠陥検出 約77%"]

    ALL --> A
    ALL --> B

    style ALL fill:#dbeafe,stroke:#2563eb,stroke-width:2px
    style A fill:#dcfce7,stroke:#16a34a,stroke-width:1px
    style B fill:#fee2e2,stroke:#dc2626,stroke-width:2px

平均88%は易しい課題で押し上げられており、肝心の欠陥検出は約77%（Qwen3-VL-4B・選択式）。

3つの落とし穴

RobustMADは、標準的なテストが見逃す3つの失敗を、質問の作り方で炙り出した。

第一に、脆い視覚の理解。ケーブルやトランジスタ、基板といった専門部品では、1枚の画像からの欠陥検出が急落する。Qwen3-VL-4Bでも一般物体の8割から6割近くへ落ちる。名前や用途はすらすら言えるのに、実物の微妙な傷は見落とし、気づかず「問題なし」と断言する。カタログは暗唱できるのに現物の欠陥は見抜けない、専門店員のようだ。ブレや暗さなど画質が劣化すると、弱い検出はさらに削られる。

第二に、浅い答え。選択肢を消して自由記述にすると、当てずっぽうが効かず理解の浅さが出る。合格ライン（採点は別のAIが行い、人間の評価と9割超一致）を超えた割合は最良でも72.8%で、約4分の1は不合格だ。文体はほぼ満点なのに、中身の正確さと網羅性が低い。

![RobustMAD Figure 4: 4モデルの自由記述スコア分布と合格率（score3以上の割合）]

原論文 Figure 4 より引用。自由記述の合格率（score≥3の割合）。

第三に、答えようのない・前提の崩れた質問での幻覚。存在しない属性（あるはずのない部品の電圧定格など）を尋ねても、「わからない」と言えず自信満々に捏造する。冒頭の「言い換えで判定が反転する」もこれだ。中立の質問には正しく答えるのに、答えを含んだ言い回しに引きずられる——誘導尋問に乗る証人に近い。意図ではなく、訓練で染みついた「言い回しに合わせる癖」だ。

![RobustMAD Figure 1: 同じケーブル画像への中立質問と確認要求で判定が反転する例]

原論文 Figure 1 より引用（応答は英語）。中立の問いには「欠陥あり」、確認を促すと幻覚で「欠陥なし」。

工場に持ち込むには

有望さは本物だが、安全基準とは桁が違う。自動車の安全部品では「100万個に数個」、つまり実質ゼロが求められる。88%とは「100個に12個を取りこぼす」に等しく、3〜4桁の隔たりだ。だから今は人の置き換えではなく、補助として使うのが現実的だ。

著者が釘を刺すのは、これらの失敗が「プロンプトの工夫では直らない」点だ。現場の作業者は質問を最適に言い換えてはくれないし、安全システムを言い回しの巧みさに頼らせるわけにもいかない。鍵はプロンプトではなく、学習とアーキテクチャ側の改良にある。裏を返せば、Qwen3-VL-4Bの健闘は、その頑健性が4Bにとって手の届かない目標ではないことも示している。

出典

RobustMAD: Evaluating Real-World Robustness of Multimodal Small Language Models for Deployable Anomaly Detection Assistants
Anushiya Arunan, Xin Li, Yan Qin ほか（2026）, Transactions on Machine Learning Research (TMLR)
https://openreview.net/forum?id=skrA9UYNIZ
実装: https://github.com/en-research/RobustMAD ／ Project: https://robustmad.github.io/
図の引用（Figure 1・4）: Anushiya Arunan et al., "RobustMAD: Evaluating Real-World Robustness of Multimodal Small Language Models for Deployable Anomaly Detection Assistants", TMLR 2026 (OpenReview id=skrA9UYNIZ). Licensed under CC BY 4.0.
Figure 1 中のケーブル画像: MVTec AD (Bergmann et al., 2019), CC BY-NC-SA 4.0（非商用）。

次に読むべき論文

MMAD: A Comprehensive Benchmark for MLLMs in Industrial Anomaly Detection（Jiang et al., 2025）— 本論文が乗り越えた直前のベンチマーク。選択式中心で頑健性を測れない点をRobustMADが補う。
https://arxiv.org/abs/2410.09453
DeepStack（Meng et al., 2024, NeurIPS 2024）— 「なぜQwen3-VL-4Bが強いか」の核心技法。視覚トークンを言語モデルへ融合する仕組み。
Mitigating Hallucination via Robust Instruction Tuning（Liu et al., 2024, ICLR 2024）— 第三の失敗（幻覚）の処方箋。明示的な否定データで捏造を抑える。