Recherche
Nous œuvrons à créer une IA avancée sécuritaire, selon une approche en plusieurs étapes.
Le concept central de notre recherche innovante est l’IA-Chercheur, une approche novatrice conçue par Yoshua Bengio qui représente une voie distincte axée sur la sécurité menant vers une IA super-intelligente (ASI).
L’IA-Chercheur s’inspire d’un scientifique idéalisé: un esprit ayant intériorisé les lois de la nature et les utilisant pour formuler des prédictions, mais sans prédilection quant à la manière dont les choses se déroulent. Il s'agit d'une machine hautement intelligente qui utilise le raisonnement probabiliste pour comprendre le monde, sans objectifs ni préférences cachés. Ses prédictions sont transparentes, auditables et vérifiables.
Alors que nous progresserons vers une IA avancée sécuritaire, nous prévoyons que l'IA-Chercheur permette d'accélérer des avancées scientifiques, de fournir des garde-fous et une supervision pour les systèmes d'IA agentiques, tout en améliorant notre compréhension des risques posés par l'IA et des moyens de les éviter.
Publication à
la une
The leading AI companies are increasingly focused on building generalist AI agents — systems that can autonomously plan, act, and pursue goals across almost all tasks that humans can perform. Despite how useful these systems might be, unchecked AI agency poses significant risks to public safety and security, ranging from misuse by malicious actors to a potentially irreversible loss of human control. We discuss how these risks arise from current AI training methods.