Les IA : qui sont-elles ? Quels sont leurs réseaux ?

[Mickey-bis]

Ben, c'est celui de la page GPT-4, sans abonnement.

[Nolendur]

D'ailleurs, ça atteint un point où je n'arrive même plus à me représenter conceptuellement comment ils font.

Ce que j'entends par là, c'est que j'estime avoir une compréhension correcte (et non folklorique disons) des bases qui sous-tendent les IA : algorithmique, réseaux de neurones, deep learning, modèles génératifs, LLM, etc. Mais même si ces mécanismes sont carrément bluffants, je ne vois pas comment il pourraient produire la réponse ci-dessus par simple amélioration quantitative. Pour arriver au résultat ci-dessus, il faut un saut qualitatif, l'ajout de briques (dont certaines évidemment secrètes) que je ne parviens pas à imaginer conceptuellement (ne serait-ce que sur le principe). J'ai peut-être tord, mais pour le dire autrement je ne crois pas que les mécanismes connus (de moi) qui sous-tendent les LLM soient capables de produire ça. Il faut autre chose, une idée géniale, un bricolage, un principe complètement différent, que sais-je... que je n'arrive pas à me représenter.

Si quelqu'un a une connaissance profonde du truc, ou a lu un article pointu sur le sujet (de recherche je veut dire, parce que la vulga se limite vraiment à la surface en général), je veux bien un lien ou ne serait-ce que la mention des concepts sous-jacents que je ne connait pas.

[vivien]

Avec le 42 spécifiquement oui c'est assez bluffant.

[Le merlock]

Comme je disais encore cette semaine à une collègue : "Les IA auront peut-être notre peau, mais entretemps on se sera bien marrés..."

 

Skynet a dû envoyer EXACTEMENT 42 terminators.

Mais étaient-ils déguisés en hérissons ?

[Cryoban]

Si quelqu'un a une connaissance profonde du truc, ou a lu un article pointu sur le sujet (de recherche je veut dire, parce que la vulga se limite vraiment à la surface en général), je veux bien un lien ou ne serait-ce que la mention des concepts sous-jacents que je ne connait pas.

Ben du coup j'ai dcemandé au Chat de clarifier ce point...

Pour comprendre et répondre à une question absurde et humoristique, une IA utilise des techniques avancées comme le traitement du langage naturel (NLP) et l’apprentissage automatique. Ces technologies lui permettent d’analyser le sens des mots, leur contexte et les intentions derrière la question posée12.

L’IA transforme les mots en vecteurs numériques, qui passent ensuite à travers des couches de neurones et des couches d’attention pour déterminer la réponse la plus appropriée1. Elle génère alors une réponse mot par mot, en choisissant chaque fois le mot qui semble le plus probable à suivre, en fonction du contexte de la conversation1.

Ainsi, même face à une question absurde ou humoristique, l’IA peut fournir une réponse cohérente et parfois même amusante, en se basant sur son apprentissage et les modèles mathématiques qui guident son processus de décision. C’est un peu comme si elle avait son propre sens de l’humour programmé par des milliards de paramètres dérivés de son apprentissage

Et est ce que l'IA est capable de reconnaitre une situation humoristique et de s'adapter en conséquence?

Oui, une IA peut reconnaître une situation humoristique grâce à son entraînement sur de vastes quantités de texte qui incluent des exemples d’humour. Elle peut identifier des modèles linguistiques ou des structures de phrases souvent utilisées dans un contexte humoristique. Cependant, l’humour étant très subjectif et culturellement dépendant, l’IA peut ne pas toujours saisir ou générer de l’humour qui résonne avec chaque individu.

L’IA s’adapte en conséquence en choisissant des mots ou des phrases qui sont généralement associés à l’humour, et elle peut même imiter des styles humoristiques spécifiques qu’elle a appris lors de son entraînement. Elle utilise des algorithmes pour évaluer la pertinence de sa réponse et s’assure qu’elle reste appropriée au contexte donné.

En résumé, bien que l’IA puisse tenter de s’adapter à une situation humoristique, sa capacité à reproduire l’humour humain est limitée par les données sur lesquelles elle a été formée et par les complexités intrinsèques de l’humour lui-même.

Donc l'humour de la réponse absurde à une question absurde doit être un modèle courant.

[Nolendur]

Merci @Cryoban .

Sa réponse ressemble beaucoup à celle qu'aurait pu faire un vulgarisateur. Mais tout le mystère réside pour moi dans cette partie de la réponse :

« Pour comprendre et répondre à une question absurde et humoristique, une IA utilise des techniques avancées comme le traitement du langage naturel (NLP) et l’apprentissage automatique. Ces technologies lui permettent d’analyser le sens des mots, leur contexte et les intentions derrière la question posée »

Ce que j'en comprends, c'est qu'au-delà du LLM lui-même il y aurait une phase de pré-traitement, probablement aussi à base d'IA (mais avec plus d'intervention algorithmique sans doute), qui permettrait d'analyser le prompt pour le disséquer et le catégoriser afin de générer un second prompt plus riche et plus directif, qui lui passerait dans la moulinette du LLM principal.

Donc la réponse à mon questionnement existentielle, ce serait peut-être "un empilement de couches plus spécialisées, mais elles aussi à base d'IA".

« think, think, think »
-- WtP

[Cryoban]

Oui c'est ce que j'ai compris aussi.

[Altay]

Je vais encore faire le rabat-joie mais attention… ChatGPT n'a aucune capacité introspective, poser une question à ChatGPT sur comment ChatGPT fonctionne n'a aucune raison de donner une réponse correcte.

Pour répondre à la question de @Nolendur, il n'y a saut qualitatif ou brique secrète qui aurait été ajoutée dernièrement. C'est toujours du LLM autorégressif. La seule sauce secrète, c'est le corpus d'entraînement utilisé pour le RLHF (reinforcement learning from human feedback) qui permet de guider la sortie du LLM vers des réponses qui sont préférées par les utilisateur⋅ices. C'est bluffant pour cette raison précise : les LLM sont des machines à apprendre et reproduire des motifs, et le cerveau humain est particulièrement sensible à la reconnaissance de ces motifs.

[zit]

Merci @Cryoban .

 qui permettrait d'analyser le prompt pour le disséquer

comme a dit je ne sais plus qui, les blagues, c'est comme les grenouilles : on peut les disséquer mais elles n'y survivent pas. Tant qu'un ordinateur ne rira pas, il restera de l'espoir.
 

[Cryoban]

ChatGPT n'a aucune capacité introspective, poser une question à ChatGPT sur comment ChatGPT fonctionne n'a aucune raison de donner une réponse correcte.

Mais qui te parle d'introspective? Tu lui donne une forme de "personalité" ou quoi? ChatGPT c'est juste un moteur de recherche plus évolué et mieux adapté à un questionnement formalisé par l'esprit humain. Donc s'il a bouffé des articles et des publis techniques sur la question du fonctionnement des IA il va recracher un truc qui n'est pas complètement à côté de la plaque.

[Mickey-bis]

En tout cas, je m'en sert pour me donner des idées de caractérisations de PNJ en lui précisant des points clés (détails déjà fixés, rôles à venir) et il me sort une 10ène de trucs un peu bateau, dans lesquels j'arrive assez facilement à picorer pour sortir de la pâge blanche.
Et truc marrant, il fait tout seul des liens entre ces différentes réponses et ca tisse un semblant d'intrigue lorsque je lui des type de complot auquel tel PNJ peut-être confrontés.

A nouveau, ca n'invente rien qui ait suffisamment de qualité pour être au cœur du scénario, mais ca permet d'étayer, créer de fausses pistes ou juste du vocabulaire inspirant donnant du corps à tout ca. J'aime bien.

[Altay]

Mais qui te parle d'introspective? Tu lui donne une forme de "personalité" ou quoi? ChatGPT c'est juste un moteur de recherche plus évolué et mieux adapté à un questionnement formalisé par l'esprit humain. Donc s'il a bouffé des articles et des publis techniques sur la question du fonctionnement des IA il va recracher un truc qui n'est pas complètement à côté de la plaque.

L'analogie avec les moteurs de recherche est ténue, parce que les LLM peuvent difficilement citer des sources, et même quand c'est le cas (parce que le LLM est connecté à vrai un moteur de recherche), la reformulation n'est pas toujours correcte.

En l'occurrence, la réponse que tu cites plus haut est assez superficielle et ne donne aucune information précise sur la façon dont les LLM sont entraînés pour s'adapter aux requêtes lorsque les prompts sont humoristiques ou absurdes.

[Cryoban]

En l'occurrence, la réponse que tu cites plus haut est assez superficielle et ne donne aucune information précise sur la façon dont les LLM sont entraînés pour s'adapter aux requêtes lorsque les prompts sont humoristiques ou absurdes.

Là je suis d'accord! Mais bon c'était le côté amusant pour répondre à une question sur l'absurdité 3.0

[Killing Joke]

En tout cas les clips vidéos entièrement générés par IA permettent "drôlement" bien de se moquer de Paris et des JO ... :
https://x.com/i/status/1815431315782541528
("Paris, Paris, one, two, three, go to Seine and make a pee", la la lalala)

(certains pensent qu'il pourrait s'agir de propagande russe, et qu'en tout cas ce ne serait pas rattaché au groupe de ce nom (que je ne connais ni d'Ève ni d'Adam))

[vivien]

Niveau voix et son, c'est tout a fait ça. Niveau paroles, c'est clair que c'est du troll russe, mais pas ecrite par little big. Maintenant pour quelqui ne connaît pas le groupe, c'est hyper trompeur.