Les experts mettent en garde contre l'extinction de l'IA si aucune mesure n'est prise maintenant

Les experts mettent en garde contre l'extinction de l'IA si aucune mesure n'est prise maintenant

Horodatage: 30 mai 2023 8:25
Nœud source: 2688105

Il y a une autre lettre ouverte catastrophique sur l'IA qui fait le tour. Cette fois, un large éventail de leaders technologiques, de sommités du ML et même de quelques célébrités ont signé pour exhorter le monde à prendre plus au sérieux les prétendues menaces de niveau d'extinction posées par l'intelligence artificielle. 

Plus justement une déclaration, le message du Center for AI Safety (CAIS) signé par des individus comme le pionnier de l'IA Geoffrey Hinton, le PDG d'OpenAI Sam Altman, le gourou du cryptage Martin Hellman, le directeur technique de Microsoft Kevin Scott et d'autres est un phrase déclarative unique prédire l'apocalypse si elle n'est pas entendue :

"Atténuer le risque d'extinction de l'IA devrait être une priorité mondiale aux côtés d'autres risques à l'échelle de la société tels que les pandémies et la guerre nucléaire." 

Pourquoi si bref ? L'objectif était de « démontrer la coalition large et croissante de scientifiques, de leaders technologiques et de professeurs en IA qui sont préoccupés par les risques d'extinction de l'IA. Nous avons besoin d'une large reconnaissance des enjeux afin que nous puissions avoir des discussions politiques utiles », a déclaré le directeur du CAIS, Dan Hendrycks. Le registre.

Le PCSRA ne fait aucune mention de l'intelligence artificielle générale (IAG) dans son liste des risques liés à l'IA, nous notons. Et les modèles de la génération actuelle, tels que ChatGPT, ne sont pas une menace apocalyptique pour l'humanité, nous a dit Hendrycks. L'avertissement de cette semaine concerne ce qui pourrait arriver ensuite.

"Les types de menaces catastrophiques auxquelles cette déclaration fait référence sont associés aux futurs systèmes d'IA avancés", a déclaré Hendrycks. Il a ajouté que les progrès nécessaires pour atteindre le niveau de "menace apocalyptique" pourraient être d'à peine deux à dix ans, et non plusieurs décennies. « Nous devons nous préparer maintenant. Cependant, les systèmes d'IA qui pourraient entraîner des résultats catastrophiques n'ont pas besoin d'être des AGI », a-t-il déclaré. 

Parce que les humains sont parfaitement pacifiques de toute façon

Un tel menace est la militarisation, ou l'idée que quelqu'un pourrait réutiliser l'IA bienveillante pour qu'elle soit hautement destructrice, comme l'utilisation d'un robot de découverte de médicaments pour développer des armes chimiques ou biologiques, ou l'utilisation de l'apprentissage par renforcement pour le combat basé sur la machine. Cela dit, les humains sont déjà tout à fait capables de fabriquer ce genre d'armes, qui peuvent tuer une personne, un quartier, une ville ou un pays.

L'IA pourrait également être entraînée à poursuivre ses objectifs sans tenir compte des valeurs individuelles ou sociétales, nous prévient-on. Cela pourrait "affaiblir" les humains qui finissent par céder des compétences et des capacités à des machines automatisées, provoquant un déséquilibre de pouvoir entre les contrôleurs de l'IA et ceux déplacés par l'automatisation, ou être utilisé pour répandre la désinformation, intentionnellement ou autrement.

Encore une fois, aucune des IA impliquées dans cela n'a besoin d'être générale, et il n'est pas exagéré de voir le potentiel d'évolution de l'IA de la génération actuelle pour poser les types de risques qui inquiètent CAIS. Vous pouvez avoir votre propre opinion sur le degré de destruction ou de capacité du logiciel, et sur ce qu'il pourrait réellement accomplir.

Il est crucial, selon l'argument du PCSRA, d'examiner et de traiter les impacts négatifs de l'IA qui se font déjà sentir, et de transformer ces impacts existants en prévisions. "Alors que nous sommes aux prises avec des risques immédiats liés à l'IA… l'industrie de l'IA et les gouvernements du monde entier doivent également faire face sérieusement au risque que les futures IA puissent constituer une menace pour l'existence humaine", a déclaré Hendrycks. a affirmé Valérie Plante. dans un communiqué.

« Le monde a coopéré avec succès pour atténuer les risques liés à la guerre nucléaire. Le même niveau d'effort est nécessaire pour faire face aux dangers posés par les futurs systèmes d'IA », a insisté Hendrycks, avec une liste de leaders d'entreprise, universitaires et d'opinion le soutenant. 

Musk n'est pas à bord

Parmi les autres signataires figurent Ian Goodfellow, scientifique principal de Google DeepMind, les philosophes David Chalmers et Daniel Dennett, l'auteur et blogueur Sam Harris et Grimes, l'ex-musicien/Elon Musk. En parlant de l'homme lui-même, la signature de Musk est absente. 

Le PDG de Twitter était parmi ceux qui ont signé un lettre ouverte publié par le Future of Life Institute en mars dernier exhortant un pause de six mois sur la formation de systèmes d'IA "plus puissants que GPT-4". Sans surprise, la signature du PDG d'OpenAI, Altman, était absente de qui lettre particulière, ostensiblement parce qu'elle appelait directement son entreprise. 

OpenAI a depuis publié ses propres avertissements sur les menaces posées par l'IA avancée et a appelé à la création d'un organisme de surveillance mondial semblable à l'Agence internationale de l'énergie atomique pour réglementer l'utilisation de l'IA.

Cet avertissement et cet appel réglementaire, dans un cas de timing historiquement médiocre, sont intervenus le même jour Altman menacée pour tirer OpenAI, et ChatGPT avec, de l'UE sur le bloc Loi sur l'IA. Les règles qu'il soutient sont une chose, mais Altman a déclaré à Bruxelles que leur idée de la restriction de l'IA était un pont réglementaire trop loin, merci beaucoup. 

Parlementaires de l'UE répondu en disant qu'ils ne seraient pas dictés par OpenAI, et que si l'entreprise ne peut pas se conformer aux règles de gouvernance et de transparence de base, "leurs systèmes ne sont pas adaptés au marché européen", a affirmé l'eurodéputé néerlandais Kim van Sparrentak. 

Nous avons demandé à OpenAI des éclaircissements sur la (les) position(s) d'Altman et mettrons à jour cette histoire si nous recevons une réponse. ®

Horodatage:

Plus de Le registre