OpenAI annonce un nouveau programme de financement de 10 millions de dollars en partenariat avec Eric Schmidt pour soutenir la recherche sur des technologies qui garantiront une cohérence et une sécurité surhumaines des systèmes artificiels. systèmes d’intelligence (IA surhumaine).
"Nous pensons que la superintelligence fera probablement son apparition au cours de la prochaine décennie. Ces systèmes d'IA auront d'énormes capacités : ils peuvent apporter d'énormes avantages, mais ils peuvent également présenter d'énormes risques.”
La société a déclaré que les moyens actuels permettant d'assurer la sécurité des systèmes d'IA reposent principalement sur des techniques d'alignement supervisées par des humains (telles que le RLHF). Mais les systèmes d'IA superhumains seront capables d'exécuter des comportements complexes et créatifs que les humains ne peuvent pas entièrement comprendre. Par exemple, si un modèle surhumain générait un million de lignes de code extrêmement complexe, les humains seraient incapables d’évaluer de manière fiable si le code serait sûr ou dangereux à exécuter, et la technologie existante pourrait ne plus suffire.
"Cela soulève un défi fondamental : comment les humains peuvent-ils guider et faire confiance à des systèmes d'intelligence artificielle qui sont beaucoup plus intelligents qu'eux-mêmes ? Il s'agit de l'un des problèmes technologiques non résolus les plus importants au monde. Mais nous pensons que grâce à un effort concerté , ce problème peut être résolu. Il existede nombreuses approches prometteuses et directions passionnantes, ainsi que de nombreux fruits à portée de main.”
Dans le cadre de son projet Superalignment, OpenAI lance ce programme de financement pour :
- Dons entre 100 000 et 2 millions de dollars à des laboratoires universitaires, à des organisations à but non lucratif et à des chercheurs individuels
- etL'introduction d'une bourse d'études d'un an de 150 000 $ pour les étudiants diplômés (la moitié sera utilisée pour le financement de la recherche et l'autre moitié comme allocation)
Les chercheurs postulant pour cette subvention ne sont pas tenus d'avoir une expérience de travail sur l'alignement, et ils sont prêts à soutenir les chercheurs qui n'ont effectué aucun travail dans ce domaine, selon OpenAI. Les candidatures resteront ouvertes jusqu'au 18 février et les candidats recevront une réponse dans les quatre semaines suivant la date limite de candidature.