Google publie un outil de filigrane pour le texte généré par IA pour une utilisation open source

Comprendre comment les LLMs génèrent du texte

Les grands modèles de langage (LLMs), comme ceux qui alimentent diverses applications d'IA aujourd'hui, utilisent une méthode unique pour générer du texte cohérent et contextuellement pertinent. Ils le font un token à la fois. Chaque token peut représenter un caractère, un mot ou une partie d'une phrase, formant collectivement la structure du contenu généré.

Le processus de prédiction des tokens

Lorsqu'on leur demande de compléter une phrase telle que "Mes fruits tropicaux préférés sont __.", le LLM prédit les continuations potentielles. Des candidats probables pourraient inclure "mangue," "litchi," "papaye," ou "durian." Chacun de ces tokens est associé à un score de probabilité, indiquant à quel point le modèle considère cette option comme étant le prochain mot dans la séquence.

Ajustement des scores de probabilité

Dans des scénarios où une variété de tokens pourrait être appropriée, des outils comme SynthID permettent d'ajuster les scores de probabilité assignés à ces tokens. Ce processus d'ajustement se fait sans compromettre la qualité, l'exactitude ou la créativité globales du texte généré. Il aide à affiner la sortie pour mieux répondre aux attentes des utilisateurs.

Gestion de la complexité

Tout au long du processus de génération de texte, le cycle prédictif est répété plusieurs fois. Une seule phrase pourrait utiliser dix scores de probabilité ajustés ou plus, menant à une sortie complète et nuancée. Si vous imaginez une page remplie de texte, elle pourrait contenir des centaines de ces scores de probabilité, chacun contribuant à la cohérence et au flux de la narration.

Filigrane dans le texte généré

L'arrangement final des scores, résultant des choix de mots du modèle et des ajustements appliqués, forme ce qu'on appelle le filigrane. Ce filigrane est un élément crucial, car il peut être utilisé pour identifier le contenu qui a été généré par le modèle et aide à maintenir un standard d'authenticité à travers la plateforme.

Conclusion

Comprendre comment les LLMs génèrent du texte révèle la complexité et la sophistication derrière des phrases apparemment simples. Chaque sortie est le résultat d'une interaction complexe entre la probabilité, le contexte et les contraintes créatives, garantissant que le contenu généré est aussi pertinent et utile que possible pour son public cible.