SAM2を用いて用途特化型の画像処理を行いため、SAM2のファインチューニング（fine tuning）を行いました。
その記録を記事として残します。
弊社では、AIを用いた研究開発・ご相談をお待ちしております。気軽にお問い合わせいただけますと幸いです。
SAM2とは
SAM2とはMeta社が2024年に公開した動画や画像をセマンティックセグメンテーションするモデルです。
デモサイト：https://ai.meta.com/sam2/
ソースコード：https://github.com/facebookresearch/sam2
セマンティックセグメンテーションについては下記が非常に分かりやすく解説しています。
参考：【深層学習】セマンティックセグメンテーションとは？〜FCN, U-Net, Segnet, PSPNet, Deeplabv3+手法まとめ〜
SAM2のファインチューニング
SAM2のファインチューニングについては、まだ多くありません。
日本語の情報はなく、弊社では下記サイトを参考に行いました。
https://www.datacamp.com/tutorial/sam2-fine-tuning
コードの一部に、ライブラリの読み込み抜け、変数のミス等はありますが問題なく動きました。
また、build_sam2を呼び出す際に指定する際に、yamlファイルが見つからないエラーが発生しました。
弊社の場合は、「segment-anything-2/sam2」配下にyamlを配置することで動作しましたので、ご参考になればと思います。
ちなみに、下記に情報が集まっています。
SAM2のファインチューニングによる精度の変化
ファインチューニング前
ファインチューニング後
ファインチューニング前は複数のクラスラベルが、ファインチューニング後は単一となっています。
また、形状も概要を抑えており明らかな質の向上がわかります。
学習時のIoUは70%程度です。
選択点は30個ですが、2個にしても同様の結果が得られました。
動画版
当社では研究開発やAIによる自動化の取り組みのお仕事を受けております。
気軽にお問い合わせいただけますと幸いです。
