Nome: Nick Chow , Dana Juratoni , Gilad Gal
O Elastic Search 8.9 apresenta a pesquisa híbrida com fusão de classificação recíproca (RRF) para combinar técnicas de vetor, palavra-chave e semântica para obter melhores resultados. Esta versão também melhora o desempenho de buscas e ingestão de vetores, com tempos de resposta 30% mais rápidos. Os usuários também obtêm mais opções de ingestão por meio do novo conector do SharePoint Online, que inclui segurança em nível de documento. Além disso, o 8.9 traz um novo endpoint de pesquisa pública para seus índices Elasticsearch® por meio do aplicativo de pesquisa beta.
Esses novos recursos permitem que os usuários:
- Melhore os resultados da pesquisa adicionando facilmente várias técnicas de recuperação
- Obtenha dados do SharePoint Online rapidamente com segurança em nível de documento
- Crie um ponto de extremidade de pesquisa voltado para o público
O Elastic Search 8.9 já está disponível no Elastic Cloud , a única oferta gerenciada do Elasticsearch que inclui todos os novos recursos da versão mais recente. Você também pode baixar o Elastic Stack e nossos produtos de orquestração de nuvem, Elastic Cloud Enterprise e Elastic Cloud para Kubernetes, para uma experiência autogerenciada.
O que mais há de novo no Elastic 8.9? Confira a postagem do anúncio 8.9 para saber mais >>
A pesquisa híbrida com fusão de classificação recíproca (RRF) combina várias técnicas de pesquisa para obter melhores resultados
Os usuários do Elasticsearch estão usando cada vez mais a pesquisa para recuperar diferentes tipos de informações — BM25 para texto e pesquisa vetorial para vetores densos. As técnicas de pesquisa híbrida geralmente fornecem melhores resultados: o benchmarking em vários conjuntos de dados BIER mostra uma correlação aprimorada ao combinar classificações baseadas em BM25 e ELSER, e agora é ainda mais fácil para os usuários combinar todos esses métodos de recuperação. No 8.9, as pesquisas híbridas usando Reciprocal Rank Fusion (RRF) agora permitem que os usuários combinem pesquisas de qualquer combinação de:
- Pesquisa de banco de dados de vetores Elastic®
- Pesquisa BM25f baseada em palavras-chave
- Pesquisa estendida de texto usando o modelo de codificador esparso aprendido do Elastic
Ele funciona pronto para uso, sem a necessidade de normalização ou configuração de peso, para que você possa incorporar de forma rápida e perfeita pesquisa vetorial ou semântica com modelos do Elastic Learned Sparse Encoder em sua experiência de pesquisa existente. O RRF está disponível como Technology Preview para usuários Platinum+. Saiba mais sobre RRF na documentação .
Instruções de hardware de vetor acelerado
No 8.9, aproveitamos uma API Java em incubação ( API de vetor do Panamá ), que permite o uso de instruções nativas ( SIMD ) para melhorar significativamente o desempenho dos cálculos de vetor. Isso resulta em uma melhoria de 30% (!) no desempenho da pesquisa vetorial e da indexação vetorial para pesquisas HNSW (kNN) e força bruta ( força bruta ). Observe que isso é possível em CPUs que o suportam.
Veja exemplos de melhorias de desempenho em nossos benchmarks diários .
Para melhorar ainda mais a latência de consulta em pesquisas de vetor de força bruta, alteramos a codificação de elementos de ponto flutuante em vetores de big-endian para little-endian. Essa mudança traz velocidades de decodificação mais rápidas, resultando em uma redução significativa na latência de consulta de dezenas de por cento para pesquisas de vetores de força bruta. Essas melhorias são especialmente perceptíveis nas importantes pesquisas mais lentas, onde as melhorias podem chegar a cerca de 50% do tempo. Essa melhoria se deve às melhorias de desempenho provocadas pelo uso da API do Panamá descrita acima.
Fácil ingestão com novos conectores e recursos
Os usuários podem extrair dados diretamente de mais fontes de dados para o Elasticsearch. Um novo conector do SharePoint Online com desempenho aprimorado, segurança em nível de documento com permissões refinadas, opções de sincronização incremental para atualização de dados aprimorada e extração de conteúdo binário nativo para arquivos grandes geralmente está disponível na versão 8.9 para usuários Platinum+ .
Os novos clientes do conector ServiceNow e Dropbox agora estão disponíveis na versão beta. Esses clientes conectores permitem que os clientes integrem fontes de dados mais proprietárias e, a partir desta versão, os seguintes conectores estão disponíveis nativamente no Elastic Cloud: Azure Blob Storage, Atlassian Confluence Cloud & Server, Atlassian Jira Cloud & Server e Network Drive.
Veja uma lista completa de conectores nativos e clientes de conectores disponíveis.
Crie um terminal de pesquisa acessível publicamente usando o aplicativo de pesquisa
A versão 8.9 introduziu a versão beta do aplicativo de pesquisa para usuários Platinum+ por meio da API de pesquisa pública , para que os usuários agora possam criar endpoints de pesquisa voltados para o público para seus índices Elasticsearch. O endpoint _applications/search-application/<app-name>/_search permite apenas consultas definidas no modelo de pesquisa associado, para que você possa atender pesquisas sem usar um sistema de consulta de passagem entre seu cliente e sua implantação do Elasticsearch.
O aplicativo de pesquisa pode então ser usado para criar pesquisas publicamente acessíveis quando emparelhado com uma chave de API de ponto de extremidade de pesquisa pública restrita a nova função de fluxo de trabalho "search_application_query" da chave de APIusando O desenvolvimento ficou mais fácil com o novo cliente Javascript do aplicativo de pesquisa !
tente
Leia as notas de versão e aprenda sobre esses recursos e muito mais.
Os clientes existentes do Elastic Cloud podem acessar muitos desses recursos diretamente do console do Elastic Cloud . Não está aproveitando o Elastic na nuvem? Comece seu teste gratuito .
O lançamento e o tempo de quaisquer recursos ou funcionalidades descritos neste artigo ficam a critério exclusivo da Elastic. Quaisquer recursos ou funcionalidades não disponíveis no momento podem não ser entregues no prazo ou de forma alguma.
Mais Informações: Elastic Search 8.9: Combine vetor, palavra-chave e recuperação semântica com pesquisa híbrida | Blog Elástico