SAM 2 viene siendo un modelo de segmentación que permite la selección rápida y al mismo tiempo precisa de cualquier objeto en cualquier vídeo o en cualquier imagen. Según ha dado a conocer Meta, SAM 2 es el primer modelo unificado para segmentar objetos en imágenes y vídeos. Tiene la capacidad de poder utilizar un clic, un cuadro o incluso una máscara como entrada para seleccionar un objeto en cualquier imagen o fotograma de vídeo.
Hablemos sobre Sam 2 de Meta
Es crucial señalar que, con Sam 2 de Meta puede:
- Seleccionar uno o varios objetos en un fotograma de video. Use indicaciones adicionales para refinar las predicciones del modelo.
- Así mismo, el modelo cuenta con una gran capacidad de captura sin disparos para objetos, así como para imágenes y vídeos nunca antes vistos durante el entrenamiento del modelo, lo que permite su uso en una extensa gama de aplicaciones del mundo real.
- Se encuentra diseñado para un procesamiento de video eficiente con inferencia de transmisión para permitir aplicaciones interactivas en tiempo real.
Ahora bien, también hay otros datos importantes que se deben conocer acerca de SAM 2: el mismo cuenta con rendimiento de última generación para la segmentación de objetos. Por su parte, supera a los mejores modelos en el campo para la segmentación de objetos en videos e imágenes.
Vale la pena destacar que, el modelo SAM 2 reúne capacidades de segmentación de imágenes y videos de última generación en un solo modelo, al tiempo que conserva un diseño simple y así mismo, una rápida velocidad de inferencia.
Es de resaltar que, SAM 2 extiende la capacidad de solicitud de información de SAM al dominio del video al añadir un módulo de memoria por sesión que captura información sobre el objeto de destino en el video. Esto permite que SAM 2 lleve a cabo un seguimiento del objeto seleccionado en todos los fotogramas del video, incluso si el objeto desaparece temporalmente de la vista, puesto que el modelo posee contexto del objeto de fotogramas anteriores. Igualmente admite la capacidad de efectuar correcciones en la predicción de máscara en función de solicitudes adicionales en cualquier fotograma.
Otro aspecto inherente que se tiene que comentar es que, SAM 2 se puede utilizar de forma independiente o como parte de un sistema más grande con otros modelos en trabajos futuros para permitir experiencias novedosas.
Los resultados de segmentación de objetos de video de SAM 2 podrían usarse como entrada para otros sistemas de Inteligencia Artificial (IA), como modelos de generación de video modernos, para permitir capacidades de edición precisas.
Finalmente, no está demás decir que, el novedoso modelo se puede ampliar para aceptar otros tipos de indicaciones de entrada, por ejemplo, permitiendo en el futuro maneras creativas de interactuar con objetos en tiempo real o con video en vivo.
