OptiScan-HSI 分光物体検出モニター
Dataset: Hyperspectral Object Detection Challenge 2026（16-band 可視 HSI・460–600 nm・実データ）| Task: 18クラス物体検出
※ 評価対象: 18クラス物体検出（charger_head・people・e-bike 等）。dev val = コンペ学習セットの開発検証分割298枚（公式 test 1,000枚とは別）。モデル: RF-DETR Medium W1（M3 を解像度640で fine-tune・dev 最良単体・TTA なし）。最終LBは Phase 2（test＋ranking 2,000枚）採点 0.63647・43位（I1-M3 TTA）。Phase-1 暫定スコアは 0.64687・6位でした。
- コンペ
- Hyperspectral Object Detection Challenge 2026（Kaggle）— 16バンドハイパースペクトル画像による物体検出
- タスク
- 18クラス物体検出 — charger_head / car / e-bike / people / stone_block / rubik / badminton / table_tennis、果実・卵は実物 vs 樹脂・木製の材質真贋ペア
- データ形式
- 生 16-bit センサーPNG 1932×972（4×4 分光フィルタ配列モザイク）→ デモザイクで 16ch キューブ（483×243×16）。GT: VOC XML（usable 10,053物体 / 2,997枚）
- 規模・評価指標
- train 2,997枚（usable、生3,000枚から除外済み）/ test 1,000枚。主指標 mAP@[.5:.95]、副指標 mAP@0.5。Phase-1 公開スコアは test 約51%の暫定値、最終採点は test＋ranking 2,000枚で実施
- 推論パイプライン
- モザイクPNG → X2Cube デモザイク → 16ch キューブ → RF-DETR（Small 3ch疑似RGB → Medium M3 raw16 16ch）
| モデル | 入力 | val mAP@[.5:.95] | mAP@0.5 | 公開LB |
|---|---|---|---|---|
| Phase A — RF-DETR Small | pseudo-RGB 3ch | 0.674 | 0.957 | 0.58882 |
| Phase B — RF-DETR Small | raw 16ch | 0.698 | 0.9640 | — |
| Phase B — RF-DETR Medium M3 | raw 16ch | 0.702 | 0.9631 | 0.63393 |
| W1 — M3 fine-tune（res640・単体最良） | raw 16ch | 0.710 | 0.9650 | —（未提出） |
| W1-TTA（512/640 2パス） | raw 16ch | 0.707 | 0.9617 | 0.64295 |
| I1-M3 + TTA（512/640 + hflip） | raw 16ch | 0.711 | 0.9613 | 暫定 0.64687（6位）→ 最終 0.63647（43位） |
dev val = train からの開発検証分割（298枚）。Phase-1 暫定首位は 0.67943（SAU）。同一 Small で pseudo-RGB 0.674 → raw16 0.698（+0.024）と、分光チャネル入力の寄与を実測で確認。弱点クラスは stone_block 0.28・people 0.41・car 0.57 — 小物体・画像端の部分欠け・スケール変動が主因で、解像度向上とスケール増強が改善方針。W1（M3 を 640px で fine-tune）で stone_block 0.346・car 0.618・e-bike 0.658 に改善（people 0.468 は横ばい）。W1-TTA は公開 0.64295（提出56333781）で I1-M3 を下回り昇格せず — 最終 primary は I1-M3 TTA（Phase-2 採点 0.63647・43位、コンペ終了）。出典: docs/RESULTS.md の W1/W1-TTA 記録（2026-09-18）。
実データ（16-band HSI 生センサーPNGをデモザイク→表示用にバンド群疑似RGB化・色調整済み）＋ GT アノテーション、6シーン計76物体。
#101（5物体）電子部品・異物: charger_head×2 / rubik×3 | #225（10）車両・人物・縁石: car / e-bike×2 / people×2 / stone_block×5 | #1146（6）果実真贋: apple・orange・banana の実物+樹脂
#3294（17）e-bike×10 / people×7 | #1012（9）卵真贋: egg・egg_wood・egg_plastic / table_tennis×2 | #1974（29）密集人物
緑ボックスは正解ラベル（GT）であり、モデル予測ではありません。モデル実測性能は上の mAP / クラス別APを参照。
実データ（GT領域のバンド別平均・正規化）。apple（実物）vs apple_plastic（樹脂）は外観ほぼ同色だが ch13–15 で明確に分離 — 材質真贋識別の実例。
Phase A baseline（RF-DETR Small・pseudo-RGB、epoch 13）の dev val 実測AP。赤は弱点クラス（stone_block / people）— Phase B Medium M3 で改善対象。出典: OptiScan-HSI/docs/RESULTS.md
シアン枠＝モデル予測＋confidence（Phase A RF-DETR Small・pseudo-RGB入力・threshold 0.3・CPU実推論）。材質真贋シーン（#1146/#1012/#101）は全物体を正クラスで検出。密集シーン（#3294/#1974）は小物体の見逃しが残る — クラス別APの people 0.41 と整合する実挙動。
| シーン | GT | 予測 | TP | FP | 見逃し | 平均conf |
|---|---|---|---|---|---|---|
| #101 部品・異物 | 5 | 5 | 5 | 0 | 0 | 0.86 |
| #225 車両・人物 | 10 | 15 | 10 | 5 | 0 | 0.57 |
| #1146 果実真贋 | 6 | 6 | 6 | 0 | 0 | 0.86 |
| #3294 e-bike | 17 | 9 | 3 | 6 | 14 | 0.51 |
| #1012 卵真贋 | 9 | 9 | 9 | 0 | 0 | 0.89 |
| #1974 密集人物 | 29 | 15 | 12 | 3 | 17 | 0.51 |
| 6シーン計 | 76 | 59 | 45 | 14 | 31 | — |
この6シーンでの検出: 再現率 59.2 %（45/76）・適合率 76.3 %（45/59）。部品・材質真贋系（#101/#1146/#1012）は TP 20/20・FP 0 と完璧。見逃しは密集・小物体シーンに集中（people・e-bike の遠距離）。
※ この表は6シーンのスナップショット実測。mAP は全298枚 dev val・全閾値の総合指標で、本表とは別物。
| 実証済み能力（本データ） | 実測根拠 | 産業応用先（例示） | 高付加価値化の要点 |
|---|---|---|---|
| 実物 vs 樹脂製品の識別 apple/orange/banana/egg + plastic/wood ペア |
材質ペアAP 0.70–0.79 ch13–15 で分光分離 |
食品・異材混入検査（真贋・規格外品）、廃プラスチック選別（樹脂種別分離） | コンベア選別ラインの分光ヘッドは数百万円級。Specim FX系等のラインスキャンHSIが同原理で実用化済み（本コンペは可視SFAモザイク方式・別方式） |
| 小部品・異物の検出 charger_head / rubik（#101: TP 5/5） |
charger_head AP 0.72 混在シーンで FP 0 |
電子部品・コネクタ検査（実装前の部品確認・異物混入） | 外観検査装置への分光チャネル追加で「色では分からない材質違い」を検出 |
| 人物・車両の検出 people / car / e-bike |
people 0.41・car 0.57 （Phase A・弱点クラス） |
監視・交通系（例示レベル — 密集・遠距離で見逃し残存） | 現行は改善対象。分光ならではの迷彩・擬態識別が将来的な差別化軸 |
| 建材・鉱物の分別 stone_block（最弱点） |
AP 0.283（Phase A） | 建材・骨材選別（例示 — 本クラスは改善中） | 鉱物・建材選別は分光の得意領域だが、このデータでの実測値は低い — 正直な現状として記載 |
※ 「産業応用先」列は本データセットで直接検証された結果ではなく、同種の分光識別技術の実用領域の例示。産業ライン検証には対象領域の実HSIデータ（ENVI/raw等）が別途必要。
- 物体検出（18クラス）
- charger_head・rubik・car・e-bike・people・果実・卵等を dev val mAP@[.5:.95] 0.710 / mAP@0.5 0.9650 で検出（RF-DETR Medium W1）
- 材質真贋識別
- apple vs apple_plastic 等の実物/樹脂ペアを分光シグネチャで分離（ch13–15 で有意差・クラス別AP 0.72–0.79）。密集人物（#1974: 29人）や電子部品+異物混在シーンも GT 整備済み
- 16ch 生データ入力
- 4×4 モザイクRAW → デモザイク16ch 直接入力。同一 Small で pseudo-RGB 0.674 → raw16 0.698（+0.024）、Medium M3 0.702 → W1 res640 0.710 — 分光情報と解像度の寄与を実測で確認
- データセットの範囲
- 18クラスは汎用物体・材質サンプルが主体。PV-EL・Specim FX17 実機・産業ラインのデータではなく、本ページの数値は同コンペデータ上の評価に限定される
- 産業用途へのマッピング
- charger_head → 電子部品検査、材質真贋 → 食品・廃プラ選別、stone_block → 建材分別 は応用先の例示であり、これら産業用途が本データで直接検証されたわけではない
- 弱点クラス
- stone_block AP 0.283・people 0.411（Phase A）— 小物体・画像端の部分欠け・スケール変動が主因。公開LB（Phase-1 暫定 0.64687・test 51%採点／最終 0.63647）は dev val と別母集団のため直接比較不可
- 再現性
- 評価条件・提出ID・クラス別APの出典は OptiScan-HSI/docs/RESULTS.md・HANDOFF_2026-09-02.md・COMPETITION_RULES_SUMMARY.md に記録