Sprachmodelle haben in den letzten Jahren einen langen Weg zurückgelegt, und eines der neu veröffentlichten Modelle, OpenAssistant und ChatGPT, muss nicht vorgestellt werden. Um die Fähigkeiten dieser Modelle zu vergleichen, führen wir eine Reihe von Tests auf beiden Plattformen durch, um zu sehen, wie sie in verschiedenen Kategorien abschneiden.
einführen
Heute (12. April 2023) ist das heiße Thema auf Github Open Assistant (kurz OA), ein chatbasierter Open-Source-Assistent, der von LAION-AI entwickelt wurde. Die Vision des Projekts ist die Erstellung eines großen Sprachmodells, das auf einer einzigen High-End-Verbraucher-GPU ausgeführt werden kann. Mit einigen Modifikationen sollte Open Assistant auch in der Lage sein, problemlos mit anderen Anwendungen von Drittanbietern zu interagieren sowie Informationen aus Datenbanken und dem Internet abzurufen.
OpenAssistant soll ein Chat-basierter Assistent sein, der Aufgaben verstehen und mit Drittsystemen interagieren kann. Es kann Informationen dynamisch abrufen, um diese Aufgaben zu erfüllen. Der Assistent ist außerdem so konzipiert, dass er leicht erweiterbar und personalisierbar ist, und wird als kostenlose Open-Source-Software entwickelt.
https://github.com/LAION-AI/Open-Assistant
Um OpenAssistant zu testen, haben wir ihm verschiedene Fragen zu verschiedenen Themen gestellt. Hier sind einige meiner Erkenntnisse:
Ober-Untersatz-Verständnis
Beim Kontextverständnis zeigen beide Modelle vielversprechende Ergebnisse beim Verstehen und Beantworten von Benutzeranfragen. Im Fall des OA-Chatbots von LAION-AI gab es jedoch einige gemeldete Fälle, in denen der Kontext verloren ging, während das Gespräch fortgesetzt wurde, was zu verwirrenden oder ungenauen Antworten führen konnte.
Angaben folgen
Darüber hinaus scheinen OA-Chatbots schwach darin zu sein, Anweisungen zu befolgen, was ihre Fähigkeit beeinträchtigen kann, Benutzer effektiv bei der Erledigung von Aufgaben zu unterstützen. Auf der anderen Seite zeigt ChatGPT von OpenAI ein höheres Maß an Konsistenz bei der Aufrechterhaltung des Kontexts längerer Konversationen und