Elastic Search 8.9: búsqueda híbrida con RRF, búsqueda vectorial más rápida y puntos finales de búsqueda orientados al público

Intérpretes: Nick Chow , Dana Juratoni , Gilad Gal

 

Elastic Search 8.9 presenta Hybrid Search con Reciprocal Rank Fusion (RRF) para combinar técnicas vectoriales, de palabras clave y semánticas para obtener mejores resultados. Esta versión también mejora el rendimiento de las búsquedas y la ingestión de vectores, con tiempos de respuesta un 30 % más rápidos. Los usuarios también obtienen más opciones de ingestión a través del nuevo conector de SharePoint Online, que incluye seguridad a nivel de documento. Además, 8.9 trae un nuevo punto final de búsqueda pública para sus índices de Elasticsearch® a través de la versión beta de la aplicación de búsqueda.

Estas nuevas características permiten a los usuarios:

  • Mejore los resultados de búsqueda agregando fácilmente múltiples técnicas de recuperación
  • Obtenga datos de SharePoint Online rápidamente con seguridad a nivel de documento
  • Crear un punto final de búsqueda público

Elastic Search 8.9 ahora está disponible en Elastic Cloud , la única oferta administrada de Elasticsearch que incluye todas las funciones nuevas en la última versión. También puede descargar Elastic Stack y nuestros productos de orquestación en la nube, Elastic Cloud Enterprise y Elastic Cloud for Kubernetes, para disfrutar de una experiencia autogestionada.

¿Qué más hay de nuevo en Elastic 8.9? Consulte la publicación del anuncio de 8.9 para obtener más información >>

La búsqueda híbrida con fusión de rango recíproco (RRF) combina múltiples técnicas de búsqueda para obtener mejores resultados

Los usuarios de Elasticsearch utilizan cada vez más la búsqueda para recuperar diferentes tipos de información: BM25 para texto y búsqueda vectorial para vectores densos. Las técnicas de búsqueda híbrida a menudo brindan mejores resultados: la evaluación comparativa en múltiples conjuntos de datos BIER muestra una correlación mejorada cuando se combinan clasificaciones basadas en BM25 y ELSER, y ahora es aún más fácil para los usuarios combinar todos estos métodos de recuperación. En la versión 8.9, las búsquedas híbridas que utilizan Reciprocal Rank Fusion (RRF) ahora permiten a los usuarios combinar búsquedas de cualquier combinación de:

Funciona de manera inmediata sin necesidad de normalización o configuración de peso, por lo que puede incorporar de forma rápida y sin problemas la búsqueda vectorial o semántica con los modelos de Elastic Learned Sparse Encoder en su experiencia de búsqueda existente. RRF está disponible como Technology Preview para usuarios Platinum+. Obtenga más información sobre RRF en la documentación .

Instrucciones de hardware de vectores acelerados

En 8.9, aprovechamos una API de Java en incubación ( API de vector de Panamá ), que permite el uso de instrucciones nativas ( SIMD ) para mejorar significativamente el rendimiento de los cálculos de vector. Esto da como resultado una mejora del 30% (!) en la búsqueda de vectores y el rendimiento de la indexación de vectores para HNSW (kNN) y búsquedas de fuerza bruta ( fuerza bruta ). Tenga en cuenta que esto es posible en las CPU que lo admiten.

Vea ejemplos de mejoras de rendimiento en nuestros puntos de referencia diarios .

Para mejorar aún más la latencia de las consultas en las búsquedas de vectores de fuerza bruta, cambiamos la codificación de los elementos de punto flotante en los vectores de big-endian a little-endian. Este cambio trae velocidades de decodificación más rápidas, lo que resulta en una reducción significativa en la latencia de consulta de decenas de por ciento para búsquedas de vector de fuerza bruta. Estas mejoras son especialmente notables en las búsquedas más lentas, que son muy importantes, donde las mejoras pueden ser de hasta aproximadamente el 50 % del tiempo. Esta mejora se debe a las mejoras de rendimiento provocadas por el uso de la API de Panamá descrita anteriormente.

 

Fácil ingesta con nuevos conectores y características

Los usuarios pueden extraer datos directamente de más fuentes de datos en Elasticsearch. Un nuevo conector de SharePoint Online con rendimiento mejorado, seguridad a nivel de documento con permisos detallados, opciones de sincronización incremental para mejorar la actualización de los datos y extracción de contenido binario nativo para archivos grandes está generalmente disponible en la versión 8.9 para usuarios Platinum+ .

Los nuevos clientes del conector ServiceNow y Dropbox ahora están disponibles en versión beta. Estos clientes de conectores permiten a los clientes integrar más fuentes de datos patentadas y, a partir de esta versión, los siguientes conectores están disponibles de forma nativa en Elastic Cloud: Azure Blob Storage, Atlassian Confluence Cloud & Server, Atlassian Jira Cloud & Server y Network Drive.

Consulte una lista completa de conectores nativos y clientes de conectores disponibles.

Cree un punto final de búsqueda de acceso público mediante la aplicación de búsqueda

8.9   presentó la versión beta de la aplicación de búsqueda para usuarios Platinum+ a través de la API de búsqueda pública , por lo que los usuarios ahora pueden crear puntos finales de búsqueda públicos para sus índices de Elasticsearch. El extremo _applications/search-application/<app-name>/_search solo permite consultas definidas en la plantilla de búsqueda asociada, por lo que puede realizar búsquedas sin usar un sistema de consultas de transferencia entre su cliente y su implementación de Elasticsearch.

Luego, la aplicación de búsqueda se puede usar para crear búsquedas de acceso público cuando se combina con una clave API de punto final de búsqueda pública restringida el nuevo rol de flujo de trabajo "search_application_query" de la clave APImediante ¡ El desarrollo ahora es más fácil con la nueva aplicación de búsqueda cliente Javascript !

intentalo

Lea las notas de la versión y conozca estas características y más.

Los clientes existentes de Elastic Cloud pueden acceder a muchas de estas capacidades directamente desde la consola de Elastic Cloud . ¿No aprovechas Elastic en la nube? Comience su prueba gratuita .

El lanzamiento y el momento de cualquier característica o funcionalidad descrita en este artículo quedan a criterio exclusivo de Elastic. Cualquier característica o funcionalidad que no esté disponible actualmente puede no entregarse a tiempo o en absoluto.

原文:Elastic Search 8.9: Combina vector, palabra clave y recuperación semántica con búsqueda híbrida | Blog elástico

Supongo que te gusta

Origin blog.csdn.net/UbuntuTouch/article/details/132004546
Recomendado
Clasificación