Grad-CAMとLIME

• ディープラーニングによる診断AIの判断基準はブラックボックス
• この不透明さを可視化する代表的な2つの方法がGrad-CAMとLIME
• Grad-CAM とは Gradient-weighted Class Activation Mappingの略
• LIME とは Local Interpretable Model-Agnostic Explanationsの略

Grad-CAMとLIMEの大まかな比較

	Grad-CAM	LIME
得意なデータ	画像・動画	表形式データ・画像・テキスト何でも
モデルへの要件	内部（勾配）にアクセス可能なこと	出力さえ得られればよい
出力	ヒートマップ（粗い）	特徴量ごとの寄与度
弱点	局在精度が低い	結果が不安定

Grad-CAM：AIが心房細動と判定する時の注視部位

LIME：心電図診断時の注視部位

(HEP 2024年51巻2号 p.229-235)

（投稿者　川崎）