Am 9. Juni wird die Zhiyuan-Konferenz 2023 in Peking Forscher, Praktiker und alle, die sich für intelligente Wissenschaft interessieren, einladen, gemeinsam den Vorhang für die Zukunft zu öffnen. Sind Sie bereit? Zu den bekannten Gästen der Konferenz gehörten Turing-Preisträger Yann LeCun, Turing-Preisträger Geoffrey Hinton, OpenAI-Gründer Sam Altman, Turing-Preisträger Joseph Sifakis, Nobelpreisträger Arieh Warshel, Gründer des Future Life Institute, Max Tegmark , 2021 David Baker, Gewinner von der Breakthrough Prize, Akademiker Zheng Nanning, Gewinner des Wu Wenjun Supreme Achievement Award 2022, Zhang Bo, Akademiker der Chinesischen Akademie der Wissenschaften usw. Der Online-Registrierungskanal für die Konferenz wurde offiziell eröffnet. Die Konferenz wird gleichzeitig live online in die ganze Welt übertragen.
Countdown zur Zhiyuan-Konferenz in Peking: 3 Tage
Basic Model Frontier Technology Forum | Nachmittag des 9. Juni
Seit 2018 hat die vorab trainierte Sprachmodelltechnologie Deep Learning erfolgreich auf das selbstüberwachte Lernen großer unbeschrifteter Daten angewendet, was die Leistung von Aufgaben wie der Verarbeitung natürlicher Sprache erheblich verbessert hat und künstliche Intelligenz in die Ära der Basismodelle eingetreten ist . Insbesondere ChatGPT, das kürzlich von OpenAI veröffentlicht wurde, hat leistungsstarke und allgemeine Interaktionsfähigkeiten in natürlicher Sprache gezeigt, was dem Grundmodell weltweite Aufmerksamkeit verschafft hat. Dieses Forum lädt junge Nachwuchswissenschaftler aus dem In- und Ausland ein, die Pionierarbeit auf dem Gebiet der Basismodelle geleistet haben. Dazu gehören die Autoren der international bekannten RoberTa- und T5-Modelle sowie die Autoren des inländischen berühmten Großmodells Projekte Zidong Taichu und das Zhiyuan Wudao-Team. Sie werden gemeinsam die Spitzentechnologie des Basismodells aus der Perspektive des Maßstabs und der spärlichen Eigenschaften des Basismodells, des Lernens zur Verstärkung des Benutzerfeedbacks und der Multimodalität diskutieren. Ich hoffe, gemeinsam mit meinen Kollegen die Grenzthemen grundlegender Modelle zu erforschen und die innovative Forschung und Anwendung grundlegender Modelle zu fördern.
Agenda des Forums
Forumsvorsitzender und Moderator
Liu Zhiyuan, außerordentlicher Professor, Tsinghua-Universität
Liu Zhiyuan, außerordentlicher Professor und Doktorvater der Fakultät für Informatik der Tsinghua-Universität. Die Hauptforschungsrichtungen sind Natural Language Processing, Knowledge Graph und Social Computing. Erhielt 2011 seinen Doktortitel an der Tsinghua-Universität. Er hat mehr als 100 verwandte Artikel in renommierten internationalen Fachzeitschriften und Konferenzen im Bereich der künstlichen Intelligenz veröffentlicht, darunter ACL, EMNLP, IJCAI und AAAI, und wurde von mehr als 30.000 Mal zitiert Google Scholar. Er hat den ersten Preis des Natural Science Award des Bildungsministeriums (der zweite Absolvent), den ersten Preis des Qian Weichang Chinese Information Processing Science and Technology Award der Chinese Information Society of China (der zweite Absolvent) gewonnen Hanwang Youth Innovation Award der Chinesischen Informationsgesellschaft Chinas und wurde als nationales Talent für junge Talente, junge Wissenschaftler des Beijing Zhiyuan Research Institute, 2020 Elsevier China Highly Cited Scholars, „MIT Technology Review“-Liste von 35 jüngeren Menschen im Bereich technologische Innovation ausgewählt von 35 in China und das Nachwuchsförderungsprojekt der China Association for Science and Technology. Er ist Direktor des Jugendarbeitsausschusses der Chinesischen Informationsgesellschaft, Generalsekretär des Ausschusses für die Verarbeitung sozialer Medien der Chinesischen Informationsgesellschaft, stellvertretender Chefredakteur der Zeitschrift AI Open und Vorsitzender von ACL. EMNLP, WWW, CIKM und COLING.
Vortragsthemen und Gastvorstellungen (je nach Reihenfolge der Vorträge)
1. Grundlegendes großes Modell (Sprache) – Engineering zur Erstellung der „CPU“ in KI
Lin Yonghua, Vizepräsident und Chefingenieur des Beijing Zhiyuan Artificial Intelligence Research Institute
Lin Yonghua ist derzeit Vizepräsident und Chefingenieur des Beijing Zhiyuan Artificial Intelligence Research Institute und verantwortlich für das große Modellforschungszentrum, die System- und Grundlagensoftwareforschung für künstliche Intelligenz, die industrielle ökologische Zusammenarbeit und andere wichtige Bereiche. Mitglied der IEEE Women Engineers Asia-Pacific Leadership Group, Gründerin der Zweigstelle der IEEE Women Engineers Association in Peking. Er war Dekan des IBM China Research Institute und außerdem ein IBM Global Distinguished Engineer, der die Innovation globaler künstlicher Intelligenzsysteme bei IBM leitete. Seit fast 20 Jahren in den Bereichen Systemarchitektur, Cloud Computing, KI-Systeme, Computer Vision und anderen Forschungsfeldern tätig. Ich besitze mehr als 50 globale Patente und habe mehrfach den ACM/IEEE Best Paper Award gewonnen. Von Forbes China 2019 zu einer der 50 führenden Frauen im Technologiebereich gewählt.
2、Aufbau eines KI-Systems: Anwendung von Reinforcement Learning mit menschlichem Feedback (RLHF) auf LLM, um die Anpassung voranzutreiben
Einführung in das Thema: Das große Sprachmodell hat kürzlich einen großen Durchbruch erzielt und große Aufmerksamkeit erregt. Neue technologische Fortschritte steigern effektiv die Produktivität der Menschen. Wenn wir seinen Wert jedoch weiter steigern wollen, müssen wir noch intensiv an der personalisierten Anpassung des großen Sprachmodells arbeiten, um es für die Ausgabe der gewünschten Inhalte besser geeignet zu machen. Wir müssen ein solches Produkt entwickeln: Es kann effizient Feedback von Fachleuten zu großen Sprachmodellen (Humans-in-the-Loop) sammeln und die Reinforcement Learning (RLHF)-Technologie für menschliches Feedback nutzen, um große Sprachmodelle in verschiedenen Bereichen zu verbessern Bereichen. Professioneller.
Liu Yinhan, Kerngründer und CTO von Birch.ai
Mitbegründerin und CTO von BirchAI, wo sie generative KI in Kontaktzentren im Gesundheitswesen anwendet. Vor BirchAI arbeitete sie bei Facebook AI Research zum Thema NLP, wo sie Artikel veröffentlichte, darunter Roberta und Bart, mBart.
3. Rückblick und Ausblick auf den multimodalen Vorschulungsfortschritt
Einführung in das Thema: In den letzten Jahren von vorab trainierten Modellen zu vorab trainierten großen Modellen, von einmodalen großen Modellen wie Text, Audio und Vision bis hin zu aktuellen multimodalen vorab trainierten großen Modellen wie Grafiken und Texten , und Audio, egal ob im akademischen Bereich. Sowohl in der Industrie als auch in Unternehmen haben Pre-Training-Modelle große Aufmerksamkeit und eine explosive Entwicklung erhalten. Das multimodale Vortraining lernt Modelle durch die Kombination multimodaler Inhalte wie Grafiken, Text und Audio. Seine Entwicklung hat ein enormes Marktpotenzial in den Bereichen multimodales Verständnis, Suche, Empfehlung, Frage und Antwort, Spracherkennung und -synthese usw Mensch-Computer-Interaktion. Wert. Dieser Bericht umfasst hauptsächlich drei Aspekte: Analyse der Bedeutung und Notwendigkeit multimodaler Pre-Training-Modelle; Überprüfung der neuesten Forschungsfortschritte des aktuellen multimodalen Pre-Trainings; Hauptanwendungsszenarien und Zukunftsaussichten multimodaler Pre-Training-Modelle.
Liu Jing, Forscher, Institut für Automatisierung, Chinesische Akademie der Wissenschaften
Forscher/Doktorand des Instituts für Automatisierung der Chinesischen Akademie der Wissenschaften, Postprofessor der Universität der Chinesischen Akademie der Wissenschaften, Gewinner des National Excellent Youth. Forschungsrichtung Multimodale Analyse und Verständnis, Zidong Taichu großes Modell. Er hat den ersten Preis des Natural Science Award des Chinese Institute of Electronics, den zweiten Preis des Science and Technology Award der Image and Graphics Society und den „SAIL Award for Outstanding AI Leaders“ beim World Artificial Intelligence 2022 gewonnen Konferenz. Durchführung oder Teilnahme an einer Reihe von Projekten der National Natural Science Foundation of China, National 973-Projekten, großen Forschungsprogrammen nationaler Fonds sowie nationaler Schlüsselforschung und -entwicklung usw. Hat mehr als 150 hochkarätige wissenschaftliche Arbeiten veröffentlicht, mehr als 11.000 Mal Google Scholar zitiert, mehr als 4.000 andere SCI-Zitate, von denen drei von ESI als Top 1 % der am häufigsten zitierten Arbeiten aufgeführt wurden. Er hat mehr als 10 Meisterschaften in einer Reihe internationaler akademischer Wettbewerbe im Bereich Visual Computing gewonnen.
4、Skalierung großer Sprachmodelle: Vom Potenzgesetz zur Sparsity
Kurze Einführung in das Thema: Die Verdoppelung der Modellkapazität und der Trainingszeit von Deep Learning kann zu einer linearen Verbesserung der Modellqualität führen. Dieses Potenzgesetz, das als New Moore's Law bezeichnet wird, fördert direkt das Wettrüsten der großen Technologie Unternehmen in Bezug auf Modellkapazität und Schulungszeit (z. B. T5, Megatron, PaLM, GPT usw.) Dieser Vortrag konzentriert sich auf die Skalierung großer Sprachmodelle und diskutiert, wie die Expertenmischungsmethode verwendet werden kann, um die Kapazität von zu erhöhen Das Modell ohne Erhöhung des Rechenaufwands und die Verwendung von AutoML sucht nach einem Modell mit geringer Dichte, das am besten zur Zielhardware passt.
Zhou Yanqi, Google-Forschungswissenschaftler
Google Research Scientist, hat an wichtigen Modellarbeiten wie T5 teilgenommen, promovierte an der Princeton University (2011–2017) unter der Leitung von David Wentzlaff und arbeitete als Forschungswissenschaftler im Baidu SVAIL Lab unter der Leitung von Wu Enda (2017). -2019). Seine Hauptforschungsinteressen sind Computersysteme und maschinelles Lernen, wobei der Schwerpunkt auf der Skalierung großer Sprachmodelle durch Sparsity und Adaptive Computing sowie auf der gemeinsamen Gestaltung zukünftiger Systeme mit ML liegt.
5. Dialog am runden Tisch
Gäste des Round-Table-Forums:
Liu Zhiyuan: Außerordentlicher Professor der Tsinghua-Universität丨Moderator
Zhou Yanqi: Google-Forschungswissenschaftler
Liu Yinhan: Kerngründer und CTO von Birch.ai
Liu Pengfei: Außerordentlicher Professor am Qingyuan Research Institute der Shanghai Jiaotong University
Liu Jing, Forscher, Institut für Automatisierung, Chinesische Akademie der Wissenschaften
Pengfei Liu, außerordentlicher Professor, Qingyuan Research Institute, Shanghai Jiaotong University
Außerordentlicher Professor am Qingyuan Research Institute der Shanghai Jiao Tong University, Leiter der Generative Artificial Intelligence Research Group (GAIR), mit Schwerpunkt auf Vortraining, Generierung und Bewertung natürlicher Sprache; veröffentlichte mehr als 60 wissenschaftliche Arbeiten in den Bereichen Verarbeitung natürlicher und künstlicher Sprache Intelligenz. Mehr als 6800 Zitate in Google Scholar. Zum ersten Mal in der Geschichte der ACL-Konferenz wurde sie zwei Jahre in Folge mit dem System & Demo Paper Award ausgezeichnet; sie gehört zu den ersten Verfechtern des Konzepts des Prompt Engineering. Zu den repräsentativen Arbeiten gehören: ExplainaBoard, die College-Aufnahmeprüfung English AI, LIMA und andere Arbeiten.
Verwandte Lektüre
Agenda der Zhiyuan-Konferenz 2023 eröffnet | Forum für generative Modelle
Agenda der Zhiyuan-Konferenz 2023 offen | Großes Modell basierend auf kognitiver Neurowissenschaft
Plattformen, Frameworks, KI-Compiler und Chip-Architekturen unter der Welle groß angelegter Modelle | Geoffrey Hinton, Yao Qizhi, Zhang Bo, Sam Altman und andere Experten diskutieren auf dem AI System Forum der Zhiyuan-Konferenz über KI-Sicherheit und -Ausrichtung丨The Die Tagesordnung der Zhiyuan-Konferenz 2023 wird veröffentlicht
Scannen Sie den QR-Code oder klicken Sie auf „Originaltext lesen“, um sich für die Offline-Teilnahme und Online-Live-Übertragung zu registrieren
