Préparation à l'AGI : Sommes-nous prêts pour l'avenir de l'IA ?

L'équipe de préparation à l'AGI d'OpenAI se dissout au milieu des préoccupations concernant la culture de la sécurité

Miles Brundage, conseiller senior d'OpenAI pour la préparation de l'Intelligence Artificielle Générale (AGI), a fait la une des journaux avec un avertissement sévère concernant le manque de préparation pour l'AGI parmi les principales organisations d'IA, y compris OpenAI lui-même. Dans une déclaration annonçant son départ, Brundage a souligné : « Ni OpenAI ni aucun autre laboratoire de pointe n'est prêt [pour l'AGI], et le monde n'est également pas prêt. » Ce sentiment souligne une préoccupation croissante parmi les experts concernant la préparation à l'IA au niveau humain.

Le départ de figures clés d'OpenAI

Le départ de Brundage n'est pas un incident isolé ; il fait suite à une série de départs très médiatisés des équipes de sécurité d'OpenAI. Un autre chercheur, Jan Leike, est parti en raison d'affirmations selon lesquelles « la culture de la sécurité et les processus ont été relégués au second plan par des produits attractifs », reflétant les frustrations parmi les chercheurs concernant la priorité donnée au développement de produits par rapport aux considérations de sécurité. De plus, le co-fondateur d'OpenAI, Ilya Sutskever, a également choisi de quitter l'organisation pour créer sa propre start-up d'IA axée sur le développement sécurisé de l'AGI.

La dissolution des équipes de sécurité suscite des alarmes

La récente dissolution de l'équipe « Préparation à l'AGI » de Brundage, après la dissolution de l'équipe « Superalignment », illustre les tensions croissantes au sein d'OpenAI entre sa mission fondamentale et l'aspiration à la commercialisation. Les préoccupations sont accentuées par le passage imminent de l'organisation d'un modèle à but non lucratif à une société de capital-risque d'intérêt public dans les deux ans. Une telle transition pourrait forcer la société à renoncer à des fonds substantiels de son récent tour d'investissement - 6,6 milliards de dollars - si elle n'est pas exécutée à temps.

Les préoccupations de Brundage pour la sécurité de l'IA

Brundage a longtemps exprimé des inquiétudes concernant la trajectoire d'OpenAI, faisant entendre ces préoccupations dès 2019 lorsque l'entreprise a établi sa division à but lucratif. Dans ses remarques de départ, il a mis en lumière des contraintes sur sa liberté de recherche et de publication, ce qui l'a poussé à prendre la décision de partir. Insistant sur la nécessité de voix indépendantes dans les discussions de politique de l'IA, il croit qu'il peut exercer plus d'influence sur la gouvernance mondiale de l'IA depuis l'extérieur d'OpenAI.

Cultures internes et conflits d'allocation des ressources

Le bouleversement en cours au sein d'OpenAI pourrait également refléter une scission culturelle plus profonde. De nombreux chercheurs ont rejoint l'organisation avec l'intention de faire avancer la recherche en IA dans un environnement collaboratif, mais se voient maintenant confrontés à un accent de plus en plus orienté vers les produits. Des rapports suggèrent que l'allocation interne des ressources est devenue une question contentieuse, avec des équipes comme celle de Leike, qui auraient été refusées de la puissance de calcul nécessaire pour la recherche sur la sécurité.

Collaborations futures et soutien d'OpenAI

Malgré la culmination des conflits internes, Brundage a déclaré qu'OpenAI avait proposé d'assister ses futurs projets en fournissant des fonds, des crédits API et un accès anticipé aux modèles sans aucune condition. Ce geste indique une relation complexe entre les contributions de Brundage à OpenAI et les stratégies évolutives de l'organisation en matière de préparation à l'AGI.

Conclusion : Un tournant pour la sécurité et la gouvernance de l'IA

Le départ de Brundage signale un moment critique pour OpenAI et le paysage plus large de l'IA, soulignant le besoin urgent d'équilibrer les ambitions commerciales avec des pratiques de sécurité robustes. Alors que l'industrie est au bord de la réalisation de l'AGI, il est primordial pour les organisations de prioriser les mesures de sécurité pour naviguer dans les eaux inexplorées de l'intelligence artificielle au niveau humain.