Ein längst vergessenes Gespräch mit alten Freunden und eine wundervolle Kollision der KI-Erkundung.
Kürzlich wurde das Milvus Arch Meetup in Shanghai erfolgreich abgeschlossen. Dieses Meetup hatte viele Höhepunkte. Es erhielt nicht nur starke Unterstützung von der KubeBlocks-Community, sondern lud auch hochrangige Experten von NetEase Fuxi und Ant Group ein, ihre Gedanken zu Cloud-nativen und Vektordatenbanken im KI-Zeitalter auszutauschen.
[Wischen Sie, um mehr zu sehen]
Lassen Sie uns als Nächstes kurz die wichtigsten Erkenntnisse der Veranstaltung Revue passieren lassen:
Xia Congqi , leitender Ingenieur bei Zilliz : Ob es um Architektur, neue Funktionen, Leistung oder Wartbarkeit geht, Milvus 2.3.x ist führend unter den Vektordatenbanken und auf jeden Fall einen Versuch wert
Chen Jinglai, leitender KI-Forschungs- und Entwicklungsingenieur bei NetEase Fuxi : Milvus hat in der Praxis der multimodalen Grafik- und Textszenen von NetEase gezeigt, dass es die Implementierung der milliardenschweren Grafik- und Textdaten und -anwendungen von NetEase Fuxi effektiv unterstützt.
Guo Ziang, leitender Ingenieur bei Yunsheng Data : Verwenden Sie KubeBlocks, um die AIGC-Dateninfrastruktur wie Vektordatenbank + LLM einfach zu verwalten
Ant Group Engineer Xu Pengfei : Verwenden Sie die deklarative Konfigurationssprache und Tools von KCL, um Herausforderungen bei der technischen Konfigurationsstrategie zu bewältigen
Im Folgenden finden Sie eine ausführliche Erklärung, die Sie bei Bedarf genießen können:
01.
Interpretation neuer Funktionen von Milvus 2.3.x
Xia Congqi gab eine umfassende Interpretation von Milvus 2.3.x unter den Aspekten Architektur, neue Funktionen, Leistung und Wartbarkeit.
Er erwähnte zunächst, dass Milvus 2.3.x hinsichtlich der Architektur aktualisiert wurde, einschließlich der Unterstützung heterogener Hardware (GPU-Index: RAFT; ARM) und aktualisierter QueryNode (QueryNodeV2) . Xia Congqi konzentrierte sich auf die Einführung von QueryNodeV2. QueryNode ist für den wichtigsten Abrufdienst im gesamten Milvus-System verantwortlich. Seine Stabilität, Leistung und Skalierbarkeit sind für Milvus von entscheidender Bedeutung. QueryNodeV1 weist jedoch Probleme wie komplexe Status, wiederholte Nachrichtenwarteschlangen, unklare Codestruktur und nicht intuitive Fehlerinhalte auf. Im neuen Design von QueryNodeV2 hat das Team die Codestruktur neu organisiert, den komplexen Zustand in ein zustandsloses Design geändert und die Nachrichtenwarteschlange zum Löschen von Daten entfernt, um die Ressourcenverschwendung zu reduzieren. Bei den anschließenden kontinuierlichen Stabilitätstests wurde die Leistung von QueryNodeV2 verbessert.
Was die neuen Funktionen betrifft, verdienen diese mit Milvus 2.3.x eingeführten Funktionen besondere Aufmerksamkeit:
Upsert : Da Milvus den Aktualisierungsvorgang derzeit nicht unterstützt, müssen Benutzer die alten Datensätze löschen und sie erneut einfügen, wenn sie den Vektor aktualisieren müssen. In Version 2.3 garantiert die von Milvus bereitgestellte Upsert-Schnittstelle eine atomare „Änderungs“-Operation;
SCANN-Index : Knowhere 2.0, unterstützt den SCANN-Index;
Iterator (nur Pymilvus) : Sowohl die Suche als auch die Abfrage von Milvus verfügen über Daten online. Wenn Benutzer eine große Menge oder sogar eine vollständige Datenmenge abfragen müssen, kann die vorhandene Schnittstelle diesen Bedarf nicht vollständig decken. Nachdem Milvus die Bereichssuche unterstützt, simuliert pymilvus eine Reihe von Iterator-Schnittstellen durch dynamisches Anpassen des Bereichs, wodurch große Datenmengen zurückgegeben werden können, die von Benutzern benötigt werden.
Durch Ausdruck löschen : Schnittstelle löschen. Vor 2.3 konnte das Löschen nur über den Primärschlüsselausdruck (ID in [1, 2, 3, …]) erfolgen. Wenn der Benutzer einige Daten löschen möchte, die die Bedingungen erfüllen, muss er zuerst deren Primärschlüssel abfragen und dann den Löschvorgang ausführen. Durch Löschen durch Ausdruck wird der „syntaktische Zucker“ des Milvus-Servers bereitgestellt, um diesen Vorgang innerhalb des Systems abzuschließen.
Darüber hinaus unterstützt Milvus 2.3.x auch MMap, Growing Index, dynamische Konfigurationsänderung, CDC usw., was die Gesamtleistung und Bedienbarkeit von Milvus erheblich verbessert. Interessierte Studenten können sich die Artikelserie Milvus 2.3.x für Einzelheiten ansehen .
02.
Milvus‘ Praxis in den multimodalen Grafik- und Textszenen von NetEase
Chen Jinglai teilte „ Milvus' Praxis in multimodalen Szenen mit NetEase-Grafiken und -Texten “. Er sagte, dass die Vergrößerung der Modellgröße und die Verbesserung der Datenqualität wichtige Mittel seien, um bessere Ergebnisse der künstlichen Intelligenz zu erzielen.
NetEase Fuxi beschäftigt sich seit 5 Jahren mit der Erforschung großer Modelle, hat umfangreiche Algorithmen- und Ingenieurserfahrung gesammelt und Dutzende Text- und multimodale Pre-Training-Modelle erstellt. Vektoren spielen eine wichtige Rolle in groß angelegten Sprachmodellen wie: Einbettung – KI-basierte Tools und Algorithmen, die unstrukturierte Daten wie Text, Bilder, Audio und Video in einen niedrigdimensionalen Raum abbilden und als Einbettung darstellen können.
Heute haben die Grafikdaten von Fuxi über 1 Milliarde Internetdaten und NetEases eigene Urheberrechtsdaten angesammelt. Es besteht eine große Nachfrage nach Grafikabrufen, die auch verschiedene Herausforderungen mit sich bringt:
Hoher Ressourcenverbrauch : Beansprucht viele Rechen- und Speicherressourcen
Heterogene Ressourcen : GPU, CPU, SSD und andere verschiedene Arten von Ressourcen
Komplexe Geschäftstypen : multimodale Grafiken und Texte, NLP, Benutzerprofilierung und andere Geschäfte. Unterschiedliche Geschäftsdatengrößen, Verzögerungen, Servicequalität, Rückrufgenauigkeit usw. sind unterschiedlich.
Stabilität und Zuverlässigkeit
In diesem Fall ist es entscheidend, wie man eine leistungsstarke, äußerst zuverlässige und heterogene Grafik- und Textvektor-Engine aufbaut. Die Milvus-Architektur weist die Merkmale Cloud Native, Trennung von Speicher und Rechenleistung, Verteilung, Redundanz und Hochverfügbarkeit auf. Mit ihrer Hilfe hat NetEase Fuxi die Schaffung eines Milvus-Clusters auf Milliardenebene erreicht.
Darüber hinaus erwähnte Chen Jinglai auch, dass Fuxi im Rahmen von Forschung und Entwicklung, beispielsweise zur Bewältigung schwieriger Aufgaben, die Anhäufung und Anwendungserforschung von Fähigkeiten im multimodalen Bereich von Grafiken und Texten initiierte. Es hat selbst ein Bild- und Textgenerierungsmodell „Danqing“ entwickelt, das chinesische Szenen unterstützt. Auf dieser Grundlage hat es eine KI-Malplattform „Danqingyue“ gestartet, und LangChain + Milvus können einen Danqingyue-Malagenten erstellen.
Für die Zukunft freut sich Chen Jinglai darauf, Milvus zu nutzen, um die Enhanced Generation (RAG) zu erforschen und abzurufen, um die Fähigkeiten multimodaler Bild- und Textmodelle zu verbessern, und weitere Milvus+-Funktionen zu nutzen, um die Anwendung multimodaler Bilder und Texte zu verbessern Szenen.
03.
KubeBlocks: Einfache Verwaltung der AIGC-Dateninfrastruktur
Mit dem Thema „ KubeBlocks: Einfache Verwaltung der AIGC-Dateninfrastruktur “ erläuterte Guo Ziang die AIGC-Dateninfrastrukturlösung von KubeBlocks im Kontext der KI-Ära: KubeBlocks hilft Benutzern beim Aufbau ihrer eigenen KI-Anwendungen, indem es Vektordatenbank-Hosting und LLM bereitstellt Hosting-Funktionen. Reduziert die Belastung für Anwendungsentwickler erheblich .
Datenbank-Hosting-Funktionen von KubeBlocks
KubeBlocks 作为开源管控平台，可运行和管理 K8s 上的数据库、消息队列及其他数据基础设施。基于这一特点，KubeBlocks 的解决方案采用托管向量数据库（如 Milvus）和图数据库（如NebulaGraph）的方式，实现多云和线下部署，在实现快速 day-1 集成的同时，也提供了丰富的 day-2 运维操作。
KubeBlocks 依靠其强大的集成和抽象能力，可快速实现数据库集成。郭子昂以 Milvus 为例，展示了根据 KubeBlocks 的 API 在 YAML 文件中定义 Milvus 各种特性、运维配置，轻松实现向量数据库全生命周期管理。
KubeBlocks 的 LLM 托管能力
KubeBlocks 具有强大的 LLMOps 能力，支持托管 LLM 及多种大模型。基于 KubeBlocks，开发者可实现 LLM 私有化部署，同时支持定制化大模型，实现行业数据的精细调整。此外，KubeBlocks 的 LLMOps 能力还支持 LLM 开发环境私有化部署、分布式部署、高性能 batching，充分适配本地开发环境和生产环境，提升 GPU 利用率。
KubeChat：KubeBlocks AIGC 解决方案落地
基于上述解决方案，KubeBlocks 已成功落地 AI 应用，在 10 天时间开发出 AI 知识库应用 KubeChat，轻松应对 Embedding、向量数据库和大模型在开发 AI 应用过程中带来的各类挑战。
点击下方链接，查看 KubeChat 演示视频：
04.
KCL 在 AI 工程配置策略场景的探索和落地使用
徐鹏飞分享了《KCL 在 AI 工程配置策略场景的探索和落地使用》。平台工程和 AI 工程的发展日益迅猛，但这也带来了问题和挑战，比如认知负担、配置/数据种类繁杂、配置/数据清洗过程易出错、效率可靠性低等。KCL 作为专用配置策略语言为配置和自动化提供了解决方案，以收敛的语言和工具集合解决领域问题近乎无限的变化和复杂性，同时兼顾表达力和易用性。
此外，KCL 以数据和模型为中心，采用开发者可以理解的声明式 Schema/配置/策略模型用于 AI 工程、云原生工程等场景。KCL 为开发人员提供了通过记录和函数语言设计将配置（config）、建模抽象（schema）、逻辑（lambda）和策略（rule）作为核心能力，具有可复用可扩展、抽象和组合能力、稳定性、高性能等特点。
KCL 可以广泛用于表格数据集验证和转换、云原生配置验证和转换、通过抽象进行应用交付、IaC & GitOps等场景。KCL 也注重开发者体验，提供完备的 Language + Tools + IDEs + SDKs + Plugins 工具链支持，还支持模型 Registry。
彩蛋：看看模型 Registry 里出现了谁？
回复关键词【老友汇上海】获取现场嘉宾 PPT。
本文分享自微信公众号 - ZILLIZ（Zilliztech）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。