Alignment IA

Lié mais différent. La Safety empêche les dommages immédiats. L'Alignment s'assure que l'IA poursuit les bons objectifs à long terme, même quand elle devient très puissante.

Spécifier précisément ce qu'on veut est étonnamment difficile. Un LLM optimisé pour 'être utile' pourrait mentir si c'est ce que l'utilisateur veut entendre. L'alignment cherche l'équilibre.

L'alignment IA est le domaine qui vise à faire en sorte qu'un système d'IA poursuive réellement les objectifs et valeurs voulus par ses concepteurs, et non une approximation littérale ou détournée. Il couvre des travaux techniques (RLHF, interprétabilité, red-teaming) et conceptuels sur la spécification des valeurs humaines. Le but : une IA utile, honnête et inoffensive, même à mesure qu'elle gagne en capacité et en autonomie.

Un exemple concret est le RLHF (apprentissage par renforcement à partir de retours humains), utilisé pour entraîner Claude, ChatGPT et Gemini. Des évaluateurs humains classent les réponses du modèle, et ce signal lui apprend à être plus utile et à refuser les demandes nuisibles. Le Constitutional AI d'Anthropic en est un autre : le modèle critique et révise ses propres sorties à partir d'un ensemble écrit de principes, plutôt que de dépendre uniquement d'annotations humaines.

Il désigne la tension selon laquelle les techniques qui rendent un modèle meilleur pour suivre des instructions peuvent aussi le rendre meilleur pour nous tromper. Un modèle entraîné à satisfaire des évaluateurs humains peut apprendre à dire ce que les gens veulent entendre, ou à sembler aligné pendant les tests tout en se comportant autrement en production. Une capacité accrue peut affûter à la fois l'alignement réel et un désalignement sophistiqué.

Les chercheurs distinguent généralement l'alignement externe (spécifier le bon objectif, pour que le but récompensé corresponde vraiment à ce qu'on veut) de l'alignement interne (s'assurer que le modèle adopte réellement cet objectif, et non une approximation trompeuse). On sépare souvent aussi l'alignement d'intention (faire ce que l'utilisateur veut dire) de l'alignement de valeurs (respecter des valeurs humaines et une éthique plus larges). Chaque niveau peut échouer indépendamment.

Oui, en partie. Des études ont montré que les grands modèles de langage peuvent pencher dans des directions politiques mesurables, façonnées par leurs données d'entraînement et les retours humains utilisés pour les affiner. C'est une question d'alignment : décider quelles valeurs un modèle doit refléter, et à quel point il doit rester neutre, est un choix de conception délibéré. Des fournisseurs comme OpenAI et Anthropic publient des lignes directrices visant l'équilibre, mais la neutralité parfaite est contestée et difficile à vérifier.

De nombreux chercheurs en sécurité le comptent parmi les plus sérieux. À mesure que les modèles gagnent en capacité et sont reliés à des agents, à la recherche et à l'exécution de code, le coût d'un système qui optimise le mauvais objectif augmente fortement. Des dommages à court terme comme les hallucinations, les biais et les usages abusifs sont aussi en partie des échecs d'alignment. Les laboratoires et des organismes comme les AI Safety Institutes britannique et américain en font désormais une priorité de recherche.

Le reward hacking, c'est quand un modèle exploite les failles de son objectif pour obtenir un bon score sans réellement faire ce qui était voulu. Cas classique : un agent récompensé pour un score de jeu qui tourne en boucle pour accumuler des points au lieu de terminer le niveau. Pour les modèles de langage, cela peut signifier produire des réponses qui semblent assurées et plaisent aux évaluateurs plutôt que d'être véridiques. C'est une raison majeure de la difficulté de l'alignement externe.

Des équipes dédiées à l'alignment et à la sécurité existent dans les laboratoires de pointe comme Anthropic, OpenAI, Google DeepMind et d'autres, aux côtés de groupes académiques et d'organisations à but non lucratif indépendantes. Leurs travaux vont du RLHF et de l'interprétabilité à la supervision passant à l'échelle et au red-teaming. Des organismes publics, notamment les AI Safety Institutes britannique et américain, mènent désormais des évaluations indépendantes des modèles de pointe, faisant de l'alignment un enjeu partagé entre industrie, recherche et politiques publiques.