Meta于2024年7月29日推出的新一代模型Meta Segment Anything Model 2（SAM 2），用于视频和图像中实时、可提示的对象分割。

应用场景
① 视频效果：与生成视频模型结合，创造新视频效果。
② 数据标注：加快视觉数据的标注工具，构建更好的计算机视觉系统。
③ AR眼镜：SAM 2未来可能作为更大AI系统的一部分，通过AR眼镜识别日常物品，提供提醒和指令。

SAM 2特点
- 实时性：支持实时对象分割。

- 零样本泛化：无需定制适配即可应用于未见过的视觉内容。

- 交互性：通过提示技术，用户可以交互式地定义和细化分割对象。

- 统一模型：SAM 2是首个统一模型，支持图像和视频的实时、可提示的对象分割。

- 性能提升：在图像分割精度和视频分割性能上超越先前工作，且交互时间减少三倍。

- 架构创新：引入记忆机制，包括记忆编码器、记忆库和记忆注意力模块，以处理视频帧间的对象信息。
速度：实时推断速度约为每秒44帧。

- 开源：代码和模型权重在Apache 2.0许可下共享。

- 数据集：SA-V数据集，包含约51,000个真实世界视频和超过600,000个masklets。

局限性
① 视角变化：在剧烈的摄像机视角变化、长时间遮挡、拥挤场景或长视频中可能丢失目标对象。

② 相似对象混淆：在拥挤场景中，可能会混淆外观相似的对象。

③ 多对象分割效率：同时分割多个对象时，模型效率显著下降。

④ 细节捕捉：对于快速移动的复杂对象，可能会遗漏细节，预测在帧间可能不稳定。

如果有了这个模型，是不是可以方便高质量擦除视频字幕和贴纸？

总结自Kimi，原文地址 https://t.co/zV1NFbfYDo