Elastic Search 8.15:通过语义文本和重新排序实现可访问的语义搜索

CSDN 2024-09-09 14:01:01 阅读 62

作者:来自 Elastic Nick Chow, Sunayana Vatassery

在 8.15 中,我们的客户可以更轻松地获得出色的搜索结果。我们的最新版本带来了语义重新排名(semantic reranking)、额外的向量搜索工具和更多第三方模型提供商,并将我们的原生学习排名 (Learning to Rank - LTR) 推广到正式版。现在,搜索性能比以往任何时候都更高,速度和效率都有所提高。

Elastic Search 8.15 现已在 Elastic Cloud 上推出 - 这是唯一一款包含此最新版本所有新功能的托管 Elasticsearch 产品。你还可以下载 Elastic Stack 和我们的云编排产品 Elastic Cloud Enterprise 和 Elastic Cloud on Kubernetes,以获得自我管理的体验。

Elastic 8.15 中还有什么新功能?查看 8.15 公告帖子了解更多信息。

触手可及的语义搜索

Elasticsearch 8.15 引入了语义文本(semantic text)和语义重新排名(semantic reranking) - 两种将自然语言搜索带入你的搜索体验的强大方法。

我们继续通过 semantic text  使向量搜索更易于访问 - 这是一种新的字段类型和相应的语义查询类型,可解锁对文本进行向量搜索的简化方法。特别是,语义文本处理自动分块,因此具有长文本字段的用户可以放心,因为他们知道他们拥有完整的多嵌入覆盖和后台处理。向量搜索客户只需设置一个 semantic text 字段即可开始使用 interfence API 自动处理的模型协调和嵌入生成。

对于想要不使用向量进行语义搜索或进一步强化其向量或混合搜索的用户,8.15 还引入了语义重新排名。此功能可以应用强大的语义相似性模型来优化搜索查询的前 N ​​个结果,从而显著改善搜索结果,尤其是自然语言搜索。对于任何搜索系统来说,这一新增功能都可能是一个强大的改进,但对于寻求在不结合向量嵌入的情况下改善自然语言搜索能力的用户来说尤其有价值。

通过附加第三方提供商实现更大的模型灵活性

Elasticsearch 的 open inteference API 继续通过附加第三方提供商为我们的用户提供更大的模型灵活性。8.15 引入了:

Google AI Studio(嵌入和完成)和 Vertex AI(嵌入和重新排名)Mistral(嵌入)Amazon Bedrock(嵌入和完成)Anthropic(完成)

所有这些模型提供商都可以通过提供简单的 API 密钥轻松配置为推理端点,然后可以与 retrievers 一起使用,以实现简单且易于组合的搜索查询。

更多工具来微调相关性

Elasticsearch 的原生 “Learning to Rank - 学习排名” 和查询规则功能自 8.15 起正式可用,让用户能够更精细地控制其搜索相关性和结果。

“Learning to Rank - 学习排名” 直接内置于 Elasticsearch 中,并扩展了搜索用户的搜索相关性调整管道,因此他们可以使用针对他们关心的功能进行训练的 LTR 模型对结果进行重新排名。这直接在 Elasticsearch 中运行,并支持更精细调整和上下文感知的搜索结果,这些结果可以适应复杂的搜索和用户行为模式。从 8.15 开始,你还可以 rescore collapsed results,这意味着你可以使用 LTR 对字段折叠结果进行重新排名。Query rules 查询规则引入了将业务规则应用于搜索集的能力,即使使用机器学习模型进行混合搜索也是如此。用户可以指定在满足定义条件时将所需的文档固定在搜索结果的顶部 - 从而实现根据查询、用户细分等量身定制的搜索结果,并且它可以与混合搜索和 RRF 的任意组合一起使用。详细使用,请参考文章 “Elasticsearch 查询规则现已正式发布 - query rules”。Playground 现在支持 Google Gemini!

Playground 是查看使用 semantic_text 和语义重新排名的结果的简单方法!

配置你选择的 LLM 并使用 8.15 加速构建 RAG 应用程序。

为客户提供更多向量搜索选项、速度和效率

标量量化改进继续在出色的准确性和更好的效率之间取得平衡,包括 int-4 量化。还有更多向量搜索选项,包括新的稀疏向量查询类型、汉明距离和位编码向量支持。在 Elasticsearch 平台亮点博客中阅读有关这些和其他向量数据库性能改进的更多信息。

试用

在发行说明中阅读有关这些功能和更多内容。

现有的 Elastic Cloud 客户可以直接从 Elastic Cloud 控制台访问其中的许多功能。没有利用云端 Elastic?开始免费试用。

本文中描述的任何特性或功能的发布和时间均由 Elastic 自行决定。任何当前不可用的特性或功能可能无法按时交付或根本无法交付。

在这篇博文中,我们可能使用或提到了第三方生成 AI 工具,这些工具由其各自的所有者拥有和运营。 Elastic 无法控制第三方工具,我们对其内容、操作或使用不承担任何责任,也不对你使用此类工具可能产生的任何损失或损害承担任何责任。在使用 AI 工具处理个人、敏感或机密信息时,请谨慎行事。你提交的任何数据都可能用于 AI 培训或其他目的。我们无法保证你提供的信息会得到安全或保密。在使用任何生成式 AI 工具之前,你应该熟悉其隐私惯例和使用条款。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine 和相关标志是 Elasticsearch N.V. 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。

原文:Elastic Search 8.15: Accessible semantic search with semantic text and reranking | Elastic Blog



声明

本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。