Las BD vectoriales (bases de datos vectoriales) están de moda, a juzgar por la cantidad de nuevas empresas que ingresan al espacio y los inversores que pagan por una porción del pastel. La propagación de grandes modelos de lenguaje (LLM) y así mismo, el movimiento de IA generativa (GenAI) han creado un terreno fértil para que prosperen las tecnologías de bases de datos vectoriales.
Aunque las bases de datos relacionales tradicionales como Postgres o MySQL son apropiadas para datos estructurados (tipos de datos predefinidos que se pueden archivar ordenadamente en filas y columnas), esto no funciona tan bien para datos no estructurados como imágenes, videos, así como correos electrónicos, redes sociales, publicaciones y cualquier dato que no se adhiera a un modelo de datos predefinido. Pero ¡no se preocupe! que a continuación, le comentaremos todo sobre ¿Qué son las BD Vectoriales y por qué se han vuelto tan relevantes?
¿Qué es una Base de Datos vectorial?
Las bases de datos vectoriales (BD Vectoriales) consiguen almacenar y procesar datos en forma de incrustaciones de vectores, que convierten texto, documentos, así como imágenes y otros datos en representaciones numéricas que capturan el significado y así mismo, las relaciones entre los diferentes puntos de datos. Cabe aclarar que, esto es perfecto para el aprendizaje automático, debido a que la base de datos almacena datos espacialmente según la relevancia de cada elemento con respecto al otro, lo que facilita la recuperación de datos semánticamente similares.
Vale la pena señalar que, esto es especialmente útil para LLM, como GPT-4 de OpenAI, debido a que permite que el chatbot de Inteligencia Artificial (IA) comprenda mejor el contexto de una conversación analizando conversaciones similares anteriores. La búsqueda vectorial también viene siendo bastante útil para todo tipo de aplicaciones en tiempo real, como recomendaciones de contenido en redes sociales o incluso, aplicaciones de comercio electrónico, porque puede observar lo que un usuario ha buscado y recuperar elementos similares en un instante.
Es de resaltar que, la búsqueda de vectores también tiene la capacidad de poder ayudar a disminuir las “alucinaciones” en las aplicaciones de LLM, al suministrar información adicional que podría no haber estado disponible en el conjunto de datos de entrenamiento original.
“Sin utilizar la búsqueda de similitud de vectores, aún se pueden desarrollar aplicaciones de IA/ML, pero necesitaría realizar más reentrenamiento y ajustes. Las bases de datos vectoriales entran en juego cuando hay un gran conjunto de datos y se necesita una herramienta para trabajar con incrustaciones de vectores de una manera eficiente y conveniente”, explicó Andre Zayarni, director ejecutivo y cofundador de la startup de búsqueda de vectores Qdrant.
Es crucial señalar que, aunque las bases de datos vectoriales están teniendo un momento en medio del alboroto de ChatGPT y el movimiento GenAI, no son la poción para todos los escenarios de búsqueda empresarial.
“Las bases de datos dedicadas tienden a centrarse completamente en casos de uso específicos y, por lo tanto, pueden diseñar su arquitectura para el desempeño de las tareas necesarias, así como la experiencia del usuario, en comparación con las bases de datos de propósito general, que deben adaptarse al diseño actual”, explicó Peter Zaitsev, fundador de la empresa de servicios y soporte de bases de datos Percona.
Aunque las bases de datos especializadas tiene la capacidad de poder sobresalir en una cosa con exclusión de otras, es por eso que estamos empezando a observar que los titulares de bases de datos como Elastic, Redis, así como OpenSearch, Cassandra , Oracle y MongoDB agregan inteligencia de búsqueda de bases de datos vectoriales a la mezcla, al igual que proveedores de servicios en la nube como Azure de Microsoft, AWS de Amazon y así mismo, Cloudflare.
Pero si hay algo que señalar es que, Zayarni y sus colegas de Qdrant están apostando a que las soluciones nativas construidas totalmente alrededor de vectores proporcionarán la “velocidad, seguridad de la memoria y escala” necesarias a medida que los datos vectoriales explotan, en comparación con las empresas que incorporan la búsqueda de vectores como una ocurrencia tardía.
Según ha señalado Zayarni, “Su argumento es; también podemos realizar búsquedas vectoriales, si es necesario. Nuestro argumento es: ‘hacemos búsqueda vectorial avanzada de la mejor manera posible’. Todo es cuestión de especialización. De hecho, recomendamos comenzar con cualquier base de datos que ya tenga en su pila tecnológica. En algún momento, los usuarios enfrentarán limitaciones si la búsqueda vectorial es un componente crítico de su solución”.
