GPT4 - Une révolution ?

Durée: 37m36s

Date de sortie: 22/03/2023

Michaël nous en dit plus sur GPT4.


Pensez à mettre 5 étoiles pour soutenir l’émission !



Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Pourquoi Banque Populaire est la première banque des entreprises ?
Je me posais des questions sur le partage de la valeur pour mes salariés.
Elodie, ma conseillère Banque Populaire, m'a proposé une solution d'épargne salariale sur mesure,
rapide à mettre en place et que je peux piloter en ligne.
C'était simple et surtout ça a fait des heureux.
Accompagner nos clients sur tous les territoires avec des solutions adaptées à leurs besoins,
c'est ça, être la première banque des entreprises, Banque Populaire, la réussite est en voulue.
Étude Quantar PMEP, mid-2023, 14 Banques Populaires, 1ère Banque des PM.
Si vous trouvez que en ce moment, ce qui est en train de se produire dans l'IA et j'ai pété, j'ai pété 3,
si vous trouvez que c'est le bordel et que tout va extrêmement vite et que dans les universités,
on peut tricher et que sur Internet on peut plus rien savoir et que tout ça est complètement fou,
sachez que pour moi ce n'est rien à côté de ce qui va se produire dans les prochains mois
suite à des annonces récentes.
Notamment l'annonce de GPT4 par OpenAI, dont on va parler évidemment,
mais aussi d'autres choses parce que je pense qu'on aurait tort de s'arrêter trop sur cette annonce-là,
alors que selon moi il y a d'autres news qui passent vis-à-vis un peu inaperçus pour le moment,
mais qui sont absolument majeurs et qui promettent un sacré bazar dans les mois qui viennent.
Je vous explique, vous avez peut-être entendu, y compris ici,
que faire tourner des modèles comme chat GPT, c'est extrêmement complexe,
coûteux en énergie et en ressources.
D'ailleurs petite devinette, à votre avis,
les GPUs qu'utilise OpenAI pour faire tourner ces gros modèles, ils coûtent combien ?
A votre avis ?
Je pense que ça en centaine de milliers d'euros c'est obligé.
Ouais, peut-être même des millions.
On va faire 3 millions et quelques millions.
C'est colossal.
Alors, un GPU qu'utilise OpenAI, c'est notamment le A100 de Nvidia,
que vous pouvez acheter pour la petite bagatelle de 20 000 euros pièces.
Ouais, il y a encore beaucoup S.
Ce qui est une belle bête, une belle bête quand même,
qui est notamment 80 Giga de mémoire vive,
sauf qu'évidemment, un seul ne suffit pas du tout pour contenir ce genre de modèle,
puisque GPT3 par exemple, ça fait 800 Giga.
Et donc en fait, il doit faire des clusters de serveurs
pour pouvoir faire tourner ces modèles-là que vous utilisez sur votre petit appareil.
On se rend pas compte du tout.
C'est pour ça qu'on pensait que, au moins pour un certain temps,
c'est des services qui resteraient la chasse gardée de quelques entreprises
et qu'on aurait toujours à voir leur filtre de contenu par exemple,
que si vous construisez un business avec ce genre d'outils,
ce qui est le cas de une start-up sur deux en ce moment,
eh ben vous serez toujours très dépendants,
il faudra payer des frais importants d'API,
il faudra toujours partager le contenu de vos conversations avec ses tiers,
et donc voilà tout ce qui est infosensible, etc.
C'est juste impossible.
Il faudra espérer qu'ils maintiennent le service, sinon votre boîte est cool par exemple.
Donc tout le monde était persuadé que de manière générale,
ça resterait une techno lourde que vous ne pourriez jamais faire tourner en local
sur votre téléphone pour vous assister dans la vie tous les jours,
même quand il n'y a pas internet, etc.
Et bien sachez que, en l'espace de quelques semaines,
toutes ces choses qui paraissaient évidentes ont totalement volé en éclat.
Et ça s'est passé en plusieurs temps.
Je vous explique.
Première étape.
Facebook lâche une petite bombe,
ou plus précisément, l'équipe FAIR,
donc qui est leur département de recherche,
avec notamment ce tweet de M. Yann Lequin,
qui annonce qu'il publie en open source leur code pour leur LLM,
leur large language model, qui s'appelle IAMA,
donc qui est pour simplifier un équivalent des modèles de OpenAI.
Donc ça c'est le code qui permet de gérer l'entraînement et l'utilisation
d'un chat GPT-like.
Et l'objectif, quand il publie ça,
c'est de permettre à l'ensemble de la communauté scientifique
de comprendre mieux comment ces outils marchent
et de peut-être faire avancer justement la recherche
et permettre à n'importe qui d'avoir un peu les coulisses de ces trucs
qui paraissent un peu magiques.
Mais c'est pas ça le plus fou.
Ce qui est le plus fou, c'est les performances qu'ils annoncent.
Je vous montre un petit graph.
Donc ce que vous voyez à gauche,
ce que vous voyez à gauche c'est le nom des différents modèles les plus connus qui existent.
Vous voyez GPT-3.
Juste à côté, vous pouvez voir le nombre de paramètres, donc de poids,
175 milliards par exemple pour GPT-3.
Et vous pouvez voir les plus connus, palmes,
c'est un des plus gros qui existe, et suite Google,
auxquels on ne pouvait pas accéder, mais ça va arriver je crois.
Et ce que vous voyez en dessous c'est IAMA.
Toutes les autres colonnes ce sont des performances
que réalisent ces modèles dans différentes tâches de common sense reasoning.
C'est quand même vachement le même ordre de grandeur sur le...
Et alors ce qu'on peut apercevoir, c'est que IAMA,
ils ont fait un modèle à 7 milliards de paramètres,
donc 25 fois moins que GPT-3, qui fait quasiment aussi bien.
Ah voilà, c'est le roi.
Alors évidemment je ne parle même pas de leur plus gros modèle.
Donc c'est une dinguerie.
Alors c'est les performances qu'ils annoncent,
peut-être qu'il faudrait que d'autres personnes fassent le même leur propre test,
mais c'est complètement fou d'obtenir ça.
Et donc moi je vois ça, je suis évidemment extrêmement IP.
Je vois que c'est open source, tu vois.
Je me dis, et si je l'installais sur mon ordre?
Oui, voilà pour tester, on a envie de faire ça.
Sauf que j'ai quand même vite déchanté,
parce qu'en réalité, ils ne partageaient pas les poids.
Donc en gros, si vous connaissez un petit peu comment ça fonctionne,
là ce qu'on a montré, ce qu'ils ont partagé en open source,
c'est le code qui permet de faire l'entraînement et d'utiliser les modèles.
Mais eux, donc toute la puissance de calcul qu'ils ont utilisée
pour faire l'entraînement et pour à la fin arriver à ce qu'on appelle
communément un modèle qui est l'ensemble des poids,
du coup c'est un très très gros fichier, très lourd,
qui contient le cerveau, on va dire, du modèle.
Ça, ils ne le mettaient pas à disposition,
sauf dans quelques cas, si tu fais de la recherche scientifique
et il faut signer leur papier,
ou tu dis que tu ne feras pas d'usage commercial.
En bref, en gros...
Du coup, c'est le résultat de l'entraînement qu'ils n'ont pas donné,
ils ont donné la technique d'entraînement, mais pas le résultat.
En gros, les ingrédients, mais pas les poids,
en sachant que obtenir les poids, c'est ça le plus galère, souvent.
Et du coup, j'étais vachement déçu.
C'est quoi l'échelle à peu près ?
En termes de taille de fichiers, tu vas voir ça,
puisque ma déception n'a pas duré,
parce qu'il s'est passé une dingrille à peine une semaine.
Sur un petit forum que vous connaissez peut-être qui s'appelle Fort Chan,
quelqu'un a fait un post,
où tout simplement, il donne un lien torrent
pour télécharger l'ensemble des poids des équipes de Facebook.
Que 200 Giga, du coup.
Et du coup, on peut voir dans son dossier de téléchargement
qu'en tout, ça fait 200 Giga
et que le modèle le plus petit de 7 milliards fait lui à peine 13 Giga.
Ce qui est vraiment pas beaucoup, quand on s'en rend compte.
Alors les autres, ils montent un petit peu plus,
mais tout ça est extrêmement raisonnable en réalité.
Donc c'est une bombe, genre vraiment,
les gars, ils dropent ça sur un forum.
C'est une bombe.
Attends, comment ils l'ont obtenu ?
On sait pas.
Si ça se trouve, c'est quelqu'un de leurs équipes.
Si ça se trouve, il y a une théorie, c'est que
l'équipe même de Facebook, en fait, eux, ils s'en foutent un peu
que les poids se baladent dans la nature.
Ce qu'ils veulent juste, c'est pas être responsable.
Donc en gros, leur poids, ils les mettaient déjà un peu à disposition
dans un cadre strict.
Et on peut penser qu'en fait, ils s'en foutent un petit peu que ça se balade,
juste ils veulent pas qu'on les tienne responsables.
Et donc, voilà, c'est pas téléchargeable sur leur site directement,
mais c'est très, très facile de trouver les liens qui se partagent.
Et combien de temps ça aurait pris d'arriver au même résultat, du coup, en local ?
On sait pas, mais probablement, vraiment, beaucoup, beaucoup d'heures d'entraînement
avec des machines, enfin, le coût est probablement énorme.
Et alors, est-ce que c'est légal de télécharger ces fichiers ?
Tu crois que tu en as un ?
Oui, moi, j'aimerais bien le savoir, puisque je vais pas vous mentir, je les fais.
Il y a probablement pas la licence.
Voilà, les...
Et bien, en réalité, sachez qu'on ne peut pas copier à été un fichier de poids.
Donc, ça ne peut pas être illégal de partager des fichiers de poids.
Ça sent le flou juridique, ça.
Ça sent la jurisprudence.
En gros, c'est pas le cas du code, par contre, de Facebook, qui lui est en GPLv3.
Donc, en gros, si tu veux l'utiliser commercialement, je crois que c'est un peu compliqué,
alors faut partager longtemps toute ta code base, je crois.
Toujours est-il que c'est pas le cas des fichiers de poids.
Et donc, ils sont téléchargables.
Deuxième étape, deuxième dinguerie.
Sauf que, c'est pas non plus joué.
Moi, je le sais parce que je voulais le faire tourner sur mon ordinateur pour ce soir,
donc c'est pas joué, c'est pas si évident de faire tourner le projet,
il faut le bon matériel, etc.
Moi, j'ai un Mac, voilà, sauf que...
Les étoiles, ça sont alignées pour que ça ne predicte pas possible.
Je vais faire un autre formes.
C'est bon, ça a déconné.
Il y a un gars qui s'est amusé à réimplémenter le code de Facebook en C++,
qui était déjà connu pour avoir fait une version compatible de Whisper,
qui est un modèle d'open AI pour le speech-to-texte, qui est, par exemple, ultra bon,
et qui l'avait implémenté pour qu'il soit compatible, notamment avec les Macbooks.
Moi, je l'utilise sur mon Mac, c'est trop bien en local pour faire du speech-to-texte.
Il a sorti ceci, liama.cpp,
un projet qui n'est pas passé inaperçu sur GitHub et qui a instantanément explosé,
et qui permet à n'importe qui de faire tourner les modèles de Liama,
je ne vous l'ai pas dit mais le modèle du code Facebook s'appelle Liama, vous l'avez vu,
et notamment, c'est parfaitement supporté sur Apple Silicon,
ce qui veut dire, mesdames et messieurs,
que je vous propose de faire une petite démonstration
de ce petit bijou.
Je vous disais que j'ai été échargé le torrent,
j'espère que je ne vais pas aller en prison.
C'est pas du tout diffusé sur Apple Silicon,
personne ne le courant.
Ça tourne sur le CPU,
donc il n'y a pas besoin d'avoir une énorme carte Nvidia,
là je vais la profger juste mon Mac,
et tout simplement, on a une petite fenêtre de terminal
que on va vous partager,
ça c'est sûrement mon ordinateur,
et on peut parler avec notre propre assistant virtuel.
Alors vous voyez, on lui a donné une petite introduction
pour qu'il se mette dans la peau d'un assistant,
c'est un peu comme ce que font le chat GPD et compagnie.
Et donc je peux lui dire ce que je veux,
voilà, hello.
En gros, tu as ta propre chat botte de façon décentralisée
tu tombe sur ton look.
Je vais juste le relancer parce qu'on l'a préparé
le long de temps avant.
En termes de vitesse de réponse etc.
Donc là je lance le modèle,
il charge, ça prend tout petit peu de temps pour charger.
Et là je peux lui parler.
Deuxième tentative.
Ah.
How are you?
Fine.
Voilà, jusque là ça va.
Qu'est-ce qu'on peut lui demander?
Give me 10 ideas of YouTube videos about cybersecurity.
Est-ce que c'est comparable à chat GPD
en termes de performance de résultats,
de pertinence ou quoi?
Alors c'est là où tu vois que là j'ai pris le modèle le plus petit
parce que j'avais pas beaucoup de temps à avoir l'émission.
Et du coup, là il fait une réponse.
Attendez, il y a encore une réponse.
Je vais faire une réponse.
Et toi j'irais YouTube.
Voilà, donc tu vois, là il me prend.
Il t'envoie carrément la vidéo.
Et ça c'est drôle parce que c'est là où on voit
que déjà il y a un truc qui n'existe pas à savoir
les filtres de contenu.
Normalement actuellement, en général,
chat GPD vous donnera pas des liens.
On peut lui demander des liens.
Mais non il les donne pas.
Souvent, par exemple Copilot, etc.
Tout les beaucoup de modèles de GPD3
détectent ce genre de truc et les donnent pas.
Et là, c'est pas le cas.
Donc c'est une des conséquences, c'est que tout ce qui est filtr,
ça n'existe plus.
Là vous voyez, il a craché un temps.
C'est pour ça qu'il ne faut pas être responsable.
Exactement.
Potentiellement ça peut envoyer des trucs qui sont un peu sombres.
Des chemins pour faire des bons nucléaires.
Un nom de premier dégraf.
Ça peut aller loin.
Giv, Movi.
Il y a tout un sujet qui est un peu bizarre.
Il y a plein de...
Je ne pense pas qu'on peut vraiment avoir des sujets là,
mais il y a plein de censures sur des contenus,
par exemple tous les contenus,
comme vous le savez, de Trucartien, le terroriste,
ou même des contenus erotiques, des machins et ça.
C'est plein de choses que chat GPD ne veut absolument pas faire.
Et là, la boîte de Pandore est...
C'est ouvert.
C'est exactement.
Donc là c'est le modèle le plus petit.
Comme vous voyez, je pense qu'il peut être amélioré.
Il y en a qui sont encore plus gros et tout.
Mais le fait que j'ai un assistant de type GPT3
qui tourne en local...
En local. C'est fou.
Le temps de réponse, pas très long en plus.
Ça ne coûte pas...
Et pas long.
Et vraiment, ça tourne sur mon MacBook.
C'est un délire.
C'est complètement fou.
Et ça, c'était la version la moins poussée.
La moins poussée.
La seule qui a les réponses les plus approximatibles.
Le programme lui-même, vous avez vu,
il y a eu un petit crash tout à l'heure.
Le programme lui-même, il a été codé en deux jours par un gars.
Donc c'est vraiment que le début.
Et en fait, le plus fou, voilà.
C'est déjà très stylé.
Mais le plus fou, c'est ce qui est à venir.
Parce qu'une fois que ça, c'est dans la nature,
on peut faire ce qu'on appelle du fine tuning.
Donc c'est en gros spécialisé un modèle d'intelligence artificielle
pour une certaine tâche.
Et historiquement, c'était un peu galère
parce qu'il fallait payer OpenAI
pour qui améliore...
Enfin qui spécialise leur modèle à eux.
Ça coûte très très cher.
Ça prend beaucoup de temps et ça marche pas si bien.
Alors que là, tu peux le faire localement,
ta version ultra optimisée
pour une tâche très précise de ton propre GPT-3.
Du coup, si en plus le code est open source,
ça veut dire qu'il peut être entraîné sur ses propres data.
Enfin, en gros sur ce...
Exactement. Donc le fine tune, ça veut dire que tu vas lui fournir,
j'en sais rien, l'anthérité de la documentation de ta boîte, par exemple.
De ménir.
Tu donnes toute la documentation de ton projet.
Et lui, il va devenir expert de ton projet
et il va pouvoir répondre vachement bien
à toutes les questions de tes utilisateurs.
C'est une raison.
J'imagine qu'en plus, c'est pas limité en nombre de caractères,
en quantité, etc.
Aucune limite.
Aucune limite que le hardware tu vas le faire tourner,
ce qui est évidemment extrêmement moins cher
que les API des entreprises en question.
Donc le futur reste en fond.
Salut ! Si vous appréciez UnorScore,
vous pouvez nous aider de ouf en mettant 5 étoiles sur Apple Podcast,
en mettant une idée d'invité que vous aimeriez qu'on reçoive.
Ça permet de faire remonter UnorScore.
C'est l'une fusée.
Et pourquoi je dis que le futur va être fou ?
C'est pas juste que c'est méga cool
et que tout le monde pourra avoir son propre assistant vocal
sur son ordis.
C'est pas ça.
C'est que si je fais en parallèle avec ce qui s'est produit
dans la génération d'images,
donc les DAL-I, mid-journée, etc.
Et bah, il s'est passé un peu la même chose.
C'est-à-dire qu'il y a eu un premier effet, wow,
avec des solutions privées et propriétaires.
Et ensuite, il y a Stable Diffusion qui est arrivé.
Qu'à donner ?
Et qu'est-ce que ça a créé ?
C'est parti en cacahuète dès ce moment-là,
parce que ça a instantanément donné la possibilité
à tous les bidouilleurs et les chercheurs
en IA de la planète entière,
de s'approprier le projet
et de l'améliorer sans avoir à repartir de zéro.
Et ça fait qu'aujourd'hui,
les modèles dérivés de Stable Diffusion
ont passé des caps
où ils dépassent
sur certains aspects
les boîtes privées.
Par exemple, je ne sais pas si vous avez entendu parler
de ControlNet,
donc c'est un sous-projet lié à Stable Diffusion
avec notamment ces petits shows très mignons
qui permet en gros de conditionner
le résultat de la génération d'image.
Donc en entrée, on peut lui fournir
comme un brouillon,
exactement, ultra simplifié
qui va ensuite conditionner la création d'image
et donc pouvoir générer,
enfin, beaucoup mieux contrôler ce qui va être généré
et générer beaucoup de versions
qui se ressemblent
et pouvoir étérer comme ça.
Donc ça, si vous êtes déjà amusé avec ce genre d'outil,
vous savez que c'est une dingue de pouvoir faire ça.
Il commence à l'implémenter un peu de partout
la version où il ne serait-ce que importer
ses propres images, sa propre photo de soi
pour pouvoir se générer,
soit même en cheveux, en armures,
ou ce genre de choses.
C'est un train d'arrivée.
C'est un truc qu'on voit beaucoup.
Stable Diffusion, elle première,
était ouverte comme ça,
où typiquement on peut le faire tourner
sur sa propre carte graphique
et du coup, générer ses propres images
pour se lister.
Pareil, décentraliser avec moins de limites
artistiques, techniques.
Tu parles de mid-journée 5 aussi.
Est-ce que tu sais s'ils ont des choses
qui ressemblent un peu à ça ?
Pour le moment, j'ai juste vu passer l'annonce
et ils ont mis un système de
training où en gros,
on peut aller sur leur discord
et aller dire quelles images
on préfère et du coup, ça aide
à entraîner les liens extra.
Les résultats sont oufs en termes de qualité.
Pour le moment, c'est vraiment ce que j'ai vu
de plus puissant en termes de qualité.
Parce qu'ils mixent mid-journée.
Du coup, c'est un outil qu'on utilise
beaucoup pour plein de raisons
et d'un point de vue artistique
quand on veut transférer une vision
à quelqu'un sur « j'aimerais… »
Typiquement, quand on a travaillé ensemble,
une bonne partie du brief qu'on avait fait
pour le décor, c'était des images
mid-journées.
Pour expliquer au lieu d'expliquer,
j'aimerais un truc,
que ça se passe dans un vaisseau
et ça se passe, etc.
Et à l'écrit, c'est beaucoup plus complexe
que de juste mettre, voilà,
il y a trois images.
J'adore le mood de celle-là,
j'adore l'ambiance,
enfin, le vaisseau de celui-là et machin.
En fait, ça va beaucoup, beaucoup plus vite
et du coup, on l'utilise beaucoup.
Et en fait, mid-journée a une espèce de goût.
C'est un peu difficile à expliquer.
Mais en gros, il fait des images
plus belles que les autres.
Dali était beaucoup plus spécialisé
sur de la photo.
Du coup, il rendait les photos
très, très réalistes,
que mid-journée avait beaucoup de mal à rendre
de la photo.
Mais sur mid-journée, par contre,
il y avait beaucoup de…
On le voit là, à l'écran,
les images sont très bien composées,
sont très belles.
Surtout plus la V4, d'ailleurs.
Oui, la V4, c'est vraiment bas.
La V5, elle est folle.
Je pense que genre, c'est vraiment très…
Je pense que c'est un peu la différence
entre un modèle qui est très opinionnée,
je ne sais pas comment on dirait en français,
mais qui a un prisme.
Orienté, quoi.
Et un prisme pour faire du beau,
mais du coup,
tu peux peut-être moins le tweekier
dans ses entrailles,
alors que stable diffusion,
tu peux lui donner des pavés de 500 lignes.
Et il va suivre ce que tu fais.
Je crois que j'avais vu aussi un truc
où les coûts de stable diffusion,
pour le moment,
étaient plus élevés que ce mid-journée,
parce qu'en gros, mid-journée
proposait un abonnement
qui était illimité.
Ce qui n'était pas le cas
de stable diffusion sur la version web,
en tout cas.
Et c'était une grosse différence,
et je crois qu'il ne le faisait pas,
parce que le coût à l'image
pour stable diffusion
était très élevé par rapport à mid-journée.
Et du coup, c'était important
comment ça se fait que mid-journée,
il y arrive et voilà,
je ne suis pas assez renseigné
sur le sujet.
Parfois, la réponse,
c'est qu'ils sont à perte.
C'est possible.
C'est clairement pris.
Alors, évidemment,
je vous ai montré tout mon enthousiasme,
ça va permettre énormément
de choses mega cool,
mais il y a aussi certaines personnes
qui ont exprimé
quelques inquiétudes légitimes,
notamment G. Frey Ladliff,
qui est une personne
dans le milieu de la cyber-sécuété.
Et notamment,
il n'est pas impossible
qu'on observe
une augmentation significative
des spams
et des arnaques
très, très bien nécrites
celui à toute cette histoire.
C'est sûr.
Ils vont pouvoir lire
tous les bouquins de psychologie
et de comment le cerveau humain
fonctionne
et ils vont pouvoir dire
« Ah bah voilà, c'est ça la meilleure façon de...
»
De personnaliser à chaque personne
en fonction de chaque réponse
que tu donnes,
il leur a pile poil parfaitement
la bonne réponse en face.
C'est ça.
À très court terme,
du coup, c'est effectivement assez effrayant.
Ce qu'on peut se dire,
c'est qu'il n'y a qu'une question de temps.
Donc, ça n'arrive
et que dans tous les cas,
ça a l'air arrivé relativement rapidement.
Donc, si vous voulez l'utiliser,
c'est très facile.
Vous pouvez télécharger
Liama pour cpp.
Vous pouvez trouver les modèles.
Je vous dis pas comment,
mais c'est très simple.
Twitter, Magnet, voilà.
Je l'ai dit.
C'est bon.
C'est vraiment facile à trouver.
Et vous pouvez essayer ça
en local chez vous
pour votre usage personnel,
pour votre boîte.
Faites-vous plaisir.
Surtout que la licence,
du coup, son projet à lui,
qui est une réimplémentation,
elle, c'est du MIT.
Donc, c'est encore plus permissif.
Voilà, abusez-vous bien.
Les bons conseils de micote.
Mais comment c'est possible
qu'une grande entreprise
se fasse leak comme ça ?
C'est une très bonne question.
Moi, ce que je disais,
c'est que ça se trouve,
ça ne les gêne pas tant que ça, en réalité.
Donc, ça peut venir de l'intérieur.
Petit état avec qui est très rigolo.
Du coup, quand je passais à Ubisoft avant,
on avait énormément de
formation sur les NDA, etc.
Le fait qu'il ne fallait pas parler
des projets, etc.
Et la state qu'ils avaient donnée
à l'époque, qui était intéressante,
c'était qu'ils avaient à peu près
un leak, toutes les 1000 personnes
au courant.
Un leak majeur,
toutes les 1000 personnes au courant
dans le projet.
Et du coup, ils s'attendaient,
si, par exemple, ils faisaient un playtest
sous NDA de 10 000 personnes,
par exemple,
ils s'attendaient à avoir
à peu près 10 lits.
Du coup, il y avait une équipe
qui était chargée d'aller
fouiller internet dans toutes les langues
pour juste aller
scouter les gens qui leak
sur les forums.
En général,
souvent, les gens qui leak,
ce n'était pas forcément
des gens très malins,
et qui, du coup,
allait le mettre
sur jeuxvideo.com
en mode, voilà,
j'ai pu tester,
regardez, j'ai pris en photo
avec mon téléphone portable.
Et du coup, ils allaient
pour contracter
jeuxvideo.com,
toutes les platforms,
il y en avait plein,
dans toutes les langues
pour empêcher les leaks.
On pourrait essayer de
limiter les leaks de data,
ce que ça peut être
très décevés.
Et ça peut aussi être
des gens
dans le groupe de personnes
autorisés,
les insiders,
qui avaient accès
au poids,
qui les ont partagés.
C'est ça, des gens de mes
parents, qui sont contents
qui sont partis de la boîte
et qui ont vu de machin,
des gens,
enfin, en fait,
il y a toujours,
il y a mille raisons.
Il y a mille raisons
de faire des leaks.
Alors, peut-être que ça a
fait paniquer OpenAI,
ou simplement que c'est
le hasard du calendrier,
mais on a, évidemment,
très rapidement,
eu des nouvelles
de cette entreprise,
puisqu'ils ont annoncé
GPT4,
leur nouveau modèle.
La question étant,
est-ce que GPT4
est également
une révolution?
Et est-ce que ça vaut
tout le bruit
qu'on a autour de cette nouvelle?
Je vais vous faire
un tout petit condensé
des nouveautés.
Et après,
je vous parle
d'une petite expérience
que j'ai fait aujourd'hui
avec GPT4,
qui m'a aussi fait
pas mal hallucinée.
Donc, c'est pas non plus...

vous allez juger
si pour vous,
c'est un game changer,
si vous avez un peu
utilisé GPT,
ou si c'est pas si fou.
Moi,
je me suis amusé
à démonter GPT
sur ma chaîne.

c'est bien ou pas?
Je pense que,
moi, j'ai vu ta vidéo
et je pense que ça va
t'intéresser.
Parce qu'à mon avis,
ça va peut-être répondre
à certains des points que
t'as fait.
Donc,
globalement,
ils ont sorti leur nouveau modèle.
Il a été testé
sur des examens
américains classiques
et il a l'air
quand même très très fort.
Sauf dans les
matières littéraires,
c'est un domaine
dans lequel il gère pas bien.
Mais si vous regardez
le petit graphe
qu'on va vous partager,
est-ce qu'on a le graphe?
La régie,
pas les coréens.
Donc, en bleu,
c'est GPT 3.5,
qui était déjà
une version assez améliorée
et GPT 4
performe encore mieux
dans un certain nombre de domaines.
Donc, il y en a
où ça peut-être
équivalent,
il y a un certain nombre de domaines
où il va être
encore un sacré cronde.
Et donc,
parmi les nouveautés
de GPT 4,
il y a des capacités
multimodales.
Ça, c'est assez nouveau.
On en avait pas encore
beaucoup vu.
Ça veut dire qu'en entrée,
on peut lui donner du texte,
mais également des images.
Et ça,
ça déclenche
des cas d'usage possible
intéressants.
Donc, par exemple,
la démo classique,
c'est
qu'est-ce qu'il y a
détonant dans cette image?
Et GPT 4
nous répond
qu'il y a bizarrement
un monsieur
en train de se faire
du repassage
derrière
un taxi qui bouge.
Tu vas bien avoir
l'histoire de cette photo.
Il y a un suisse-passe.
Je sais pas ce qui s'est passé.
Mais c'est un bon...
Une belle démonstration
d'un HK
ou d'un truc très détonant.
C'est un glitch dans le jeu de vidéo.
C'est vraiment un jeu.
Qui est pourtant bien compris
par GPT 4.
Donc ça, c'est quand même...
En gros, il l'analyse une image,
il arrive quand même
à identifier l'élément
qui n'est pas normal.
C'est ça.
Avec un bon niveau de précision.
Donc ça, c'est assez stylé.
Et sinon,
globalement,
il va être vachement
meilleur à toutes les tâches
de logique
et
de déduction
et de réflexion.
Donc je sais pas
si vous avez déjà essayé
de poser des énigmes
ou des équations
à GPT 3
ou à chat GPT.
Bon,
il y a des limites.
On atteint des limites vraiment.
Moi, j'ai posé quand même
des énigmes assez simples.
Il avait du mal,
mais j'ai entendu dire
que même chat GPT
avec 3.5,
il as juste à améliorer quand même.
Tu vois, fil des mois.
C'est le cas.
Mais je pense qu'avec le 4...
Exactement.
En gros,
on passe un câble supérieur.
Et donc,
moi, j'ai voulu tester ça
pour savoir
si effectivement,
c'était devenu vraiment mieux.
Et je l'ai utilisé
pour un projet
que j'ai actuellement
dans vous entendre.
Il y a probablement parlé un jour.
Mais très concrètement,
je vous passe le contexte
parce que ce n'est pas nécessaire
pour l'explication.
J'avais besoin
de faire,
de développer quelque chose
en Swift,
donc sur Mac,
d'assez bas niveau.
Donc,
je sais pas si vous connaissez
Metal,
mais il qu'est le framework
de vidéo
d'Apple.
Et globalement,
moi,
je n'ai jamais fait de Swift
de ma vie.
J'ai jamais...
Je ne connais pas du tout
les frameworks vidéo.
J'ai jamais fait
d'OpenGL,
jamais fait de Metal.
Enfin, voilà, tout ça,
je n'y connais rien.
Je ne savais même pas
vraiment ce qui était un shader.
Il y a encore 4 ou 5 jours.
Tout ça, tu le sais pas.
J'aurais pu t'appeler en fait.
En fait,
en Metal,
je ne connais que par ce biais-là.
Quand on bosse
sur du shader
dans le jeu vidéo
et qu'on vu...
Et bien tiens,
est-ce que tu voudrais nous expliquer
ce qu'est quoi un shader ?
Alors, le shader, en gros,
c'est l'assemblage d'une texture,
enfin, d'une assemble de plusieurs textures
pour faire ce qu'on appelle un matériau.
Donc, le matériau,
shader, c'est le même mot.
Et en gros, c'est...
Par exemple, cette table,
la texture, c'est du bois,
mais elle a des petits creux,
elle brille,
plus ou moins,
les plus ou moins mat, etc.
Et elle va avoir,
je ne sais pas, par exemple,
les cheveux,
ils vont avoir du freinel,
ils vont avoir des choses comme ça,

Bah ça, c'est du shader, en gros.
Et on peut faire des trucs de fou
en shader,
c'est difficile de vraiment comprendre,
mais en gros, c'est tout,
c'est un peu ce que je pourrais dire,
l'état de la matière
dans un monde virtuel.
Et donc, la gestion d'un shader,
est-ce que c'est des calculs
légers
qui se font sur le CPU, par exemple ?
Oui, c'est ça.
Pau !
Il y a une partie,
il y a une partie graphique
qui est...
qui est...
qui est une partie compilation.
Exactement.
En gros,
pour vous expliquer,
là, typiquement,
dans le besoin que j'avais,
c'est un shader
qui devait tourner
sur le GPU.
Et donc, c'est un langage...
enfin voilà,
c'est...
on a accès
à un ensemble très restreint
de commandes.
Je vous passe
tous les détails
parce que, honnêtement,
je suis toujours pas
beaucoup plus un expert
que ce matin.
Ça n'a pas changé.
Par contre,
j'ai réussi
à utiliser chat GPT
pour, de bout en bout,
développer un projet en Swift
qui utilise le framework métal,
de développer un shader
pour faire des trucs
un peu sombres
à savoir de la conversion vidéo.
En gros,
je voulais récupérer de la vidéo
en direct,
en natif du SDK Zoom
pour l'envoyer à OBS
en...
avec le framework s'y font.
Ce n'est pas important.
Je vous ai perdu l'intention.
C'est pas important.

En tout cas,
je vous le dis que
je pense...
enfin,
il est impossible
que moi,
sans chat GPT,
arrive à faire ça
avant 4, 5 mois,
le temps de juste
apprendre à métier.
Tu vois.
Et en fait,
grâce à la nouvelle version
de GPT 4,
j'ai réussi,
aujourd'hui,
là, vraiment,
à 15, 16 heures.
J'ai réussi
à faire ces démonstrations-là
en 4 jours.
Et vraiment, genre,
j'arrive pas à...
j'arrive pas à expliquer
à quel point c'est fou.
C'est une escroquerie.
Je ne devrais pas pouvoir faire ça.
Est-ce que, du coup,
c'est lui qui a écrit
ou est-ce que c'est lui
qui t'a appris à écrire ?
Eh bien, c'était...
C'était un ping-pong.
C'est une dance.
C'est-à-dire que lui,
je lui demandais
de faire des choses.
Ça ne marchait pas.
Il y avait des erreurs.
Je lui ai fait remonter les erreurs.
Il m'explique pourquoi ça ne marche pas.
Moi-même,
j'améliore ma connaissance du sujet.
Et vraiment,
c'est improbable
que je sois parvenu
à mon résultat.
Et en gros,
pourquoi je parle de ça
dans GPT 4 ?
Parce que
j'ai remarqué
qu'il s'est vachement amélioré
pour générer du code.
Avant,
il générait du code
où il y avait souvent
des problèmes,
des erreurs.
Voilà,
tu ne pouvais pas vraiment
simplement le faire
un stack overflow.
Je copiais le mettre
dans ton projet.

il avait souvent une compréhension
qui était un peu en surface
de ce que tu voulais faire, etc.
Là,
je ne vous ment pas
quand je vous dis
qu'il n'y avait
aucune erreur.
Jamais,
tout le code qui me pondait
était absolument valide.
Il comprenait 100 %
du contexte.
Ou alors,
c'était juste ma faute.
Je ne vais pas donner
assez d'infos.
Et juste,
j'étais à bas sourd.
À bas sourd.
Et donc,
ça laisse penser
qu'effectivement,
ce n'est pas juste
en génération de textes
qu'il est devenu meilleur.
C'est de manière générale,
comme si
ses capacités
d'éduction
et de compréhension
plus scientifiques, en gros.
Je ne pense pas
qu'en littérature,
il soit devenu meilleur,
mais je pense qu'en logique
et dans les penses scientifiques,
il est devenu vachement plus bon.
Un gros problème
sur la littérature, pour le moment,
j'ai pas mal testé moi
pour essayer d'écrire
des choses que de poésie,
des trucs très simples.
En fait, ça reste très bateau
parce qu'en fait,
il n'a pas encore,
enfin, en tout cas,
de chat de J.P.T.
si tu peux te le dire,
il n'avait pas encore
mangé la littérature.
En gros,
il n'a pas les livres scanés
entre y mettre de l'histoire
de l'humanité.
Il y en a un paquet.
Il les avait pas encore absorbés.
Donc, c'était que,
c'était en grande partie,
j'exagère un peu,
mais c'était en grande partie,
il avait mangé Wikipédia,
il avait mangé plein de trucs,
mais en gros,
il n'avait pas toute la data
littéraire qu'on peut avoir
qui n'est même pas
encore toute scanner.
Google, on a scanner
une grosse partie,
mais tout n'a pas encore été scanner.
Je ne sais pas si vous avez déjà vu
les vidéos de livres
qui se sont scanés,
c'est assez notisant.
C'est magnifique.
D'ailleurs,
si vous en buvez,
vous pouvez demander à chat J.P.T.
de vous résumer des livres.
Oui.
Et quand ils sont dans son dataset,
et bien,
il va être capable
de vous en parler
en long, en large,
et en travers.
C'est une bonne expérience.
Et je pense que,
pour rejoindre ce que je disais,
je pense que les gens,
on ne réalise pas,
on parle beaucoup de chat J.P.T.
parce que c'est nouveau,
c'est rigolo,
mais en fait,
on ne réalise pas
à quel point ça va vite,
la vitesse d'apprentissage,
à quel point c'est exponentiel.
En fait, plus ça va vite,
plus ça va vite.
C'est genre,
dans un an,
on ne capte pas l'exponentiel.
C'est dans un an
ce qu'on voit là
paraître ridicule aujourd'hui
et en fait,
dans deux ans,
dans cinq ans,
et en fait,
je pense que les gens,
ne s'imaginent pas
quel impact va être.
Mais c'est dur.
Le pire,
c'est plus dans 5-10 ans,
chacun aura son assistant personnel.
Tu vas te lever le matin,
tu veux lui parler,
etc.
Il va te répondre
presque comme un être humain,
tu veux dire,
parce qu'au final,
ce qui ressort,
c'est entendable.
Et ça va être rapide.
Et un truc qui est fou,
c'est que les gens,
je pense,
ne vont pas se rendre compte
que les IAV ont remplacé de l'humain
dans le cochir
sans qu'ils s'en rendent compte.
C'est-à-dire qu'on va appeler
le coiffeur, par exemple,
et en fait,
ce serait une IAV qui répondra
et qui prendra le rendez-vous,
sans qu'on ait parlé
à l'IAV.
J'ai la synthèse vocale,
qui s'approche de l'UNA.
On appellera la SNCF,
on aura quelqu'un
en bout du téléphone
instantanément.
Mais tu ne prends pas forcément
faire la diff, hein.
Non, et tu ne prends pas
une synthèse vocale,
elle est devenue en folle.
On ne pourra pas savoir
que c'était quelqu'un
en téléphone,
enfin,
qui n'était pas quelqu'un
et qui était un truc.
C'est pareil dans la musique,
c'est pareil dans...
En fait,
tous les domaines
vont aller très, très vite.
Ils sont microd,
c'est pas microd, là.
On a dit que c'est microd.
Dans quelque temps,
on faudra faire des protocols.
On pourra lui demander,
on pourra lui donner
à manger toutes les vidéos
de la chaîne microd,
qu'il l'a nannallé toutes les vidéos,
qu'il regarde comment elle s'en foutu
et qu'il en regénère des nouvelles
avec un nouveau sujet.
Tu vois, donne-moi...
On rigole,
mais il y a eu des...
Je me mets...
Je me l'envoie au verre, moi.
T'as eu des trucs de synthèse vocale.
Enfin, je sais pas si c'est encore au point
où tu lui donnes un input
ta voix
ou des vidéos que tu as fait.
Tu vois, nous on pourrait faire ça.
Et il va te faire
de la synthèse vocale
avec ta propre voix.
Et bah,
donc quelque chose d'année...
Actuellement,
j'ai l'impression que ça marche
vachement bien en anglais,
par exemple.
On en parlera plus tard,
mais le côté synthèse vocale,
etc.
Et vous intéressez,
évidemment.
Ça fait peur, en possible.
Et je voyais que ça te débatait
un peu dans le chat,
sur est-ce que du coup,
j'ai appris des choses
où, entre guillemets,
je me suis fait assister...
Est-ce que tu as juste pris des briques?
Exactement,
j'ai rien compris.
Et je dirais que...
Alors,
c'est sûr que...
En quatre jours,
je peux pas avoir un anactif.
Après, tu sais,
déjà développé,
faut quand même prendre sang,
tu vois,
quand c'était un novice...
Je sais déjà développé,
j'avais même fait un peu d'objectifs,
etc.
Donc voilà,
c'est pas non plus...
Je débarque complètement,
mais...
Globalement,
tu peux pas apprendre
un métier en quatre jours,
mais je pense que,
juste en...
Grâce à ChachaGDP,
parce qu'il faut...
Il faut avoir une certaine
compréhension de ce qu'il sort,
sinon, voilà,
ça marche...
Ça marche jamais.
Mais juste,
la vitesse d'apprentissage
est comme décuplée.
C'est...
Là, je t'avais un prof.
Mais oui.
Parce que, pour vous expliquer,
un tout petit peu plus
de contexte sur cette histoire,
c'est qu'il n'existait.
Normalement,
moi, quand je fais des recherches,
un truc un peu shady,
ça nous arrive tous,
ou vraiment très pointu.
T'arrives à un moment
où il y a personne
qui en parle dans les forums,
personne qui en parle
dans des documentations.
Tout ce qu'on dit.
Exactement.
Le seul moyen,
parfois, c'est même,
c'est d'utiliser des outils
de recherche de code source.
Je sais pas si vous utilisez ça,
mais...
T'as des...
Ah oui, oui.
Des services qui scannent
l'entierté de...
T'as des bandes
de données de code source.
Moi, j'utilise source graph,
par exemple.
Et en gros,
tu peux taper des recherches
avancées
pour avoir un tel langage
et tel mot-clé.
Et ça te permet
de trouver
les trois autres personnes
sur la planète
qui ont eu besoin d'utiliser
la même fonction que toi.
Et bah dites-vous que là,
j'étais même...
J'étais même après
cette étape-là.
C'est-à-dire qu'il n'existait
aucun exemple
de ce que je cherchais à faire.
Si tu as dit la botte secrète,
c'est l'1-12 sur YouTube.
Ah ça, c'est pour moi,
c'est le type...
C'est la suite, justement.
C'est ça,
tu n'as pas trouvé non plus.
Ça, c'est quasiment impossible.
Ça chante sur YouTube,
il ne scanne pas encore
les vidéos YouTube.
Du coup.
Et donc,
il n'existait aucun exemple
des deux trucs que je voulais faire,
à savoir se connecter à Zoom
et régler l'envoi
sur OBS.
Enfin bref.
Et donc,
j'ai eu l'impression,
cette expérience,
j'ai eu l'impression
d'avoir un expert
ultra pointu
sur son sujet,
derrière mon épaule,
constamment,
que je pouvais ping
comme ça,
là tout le temps.
Imagine, genre,
c'est le truc
que tu ne vas pas faire
quand tu es un peu junior
dans la boîte,
d'aller voir un serge
de la première constamment
pour l'emmerder.
Et bien là,
tu l'as.
Et d'ailleurs,
c'est vrai que c'est
ce que tu disais,
le débase un peu philosophique,
de est-ce que ça va rendre plus bête
d'avoir accès
à de la formation à l'infini,
d'avoir un prof
tout le temps.
Est-ce qu'en fait,
on ne va pas juste lui demander
tout le temps
et il y a un gros débat
philosophique
sur à quoi va ressembler
notre avenir,
si en fait,
on a accès
instantanement
à n'importe quelle connaissance
de l'univers,
enfin que l'humain a collecté.
Comment le cerveau va se transformer?
Exactement.
Mon point de vue là-dessus,
ce serait en fait,
il va y avoir deux extrêmes,
tu as tous les gens
qui vont juste pinger
et ne vont jamais
apprendre quoi que ce soit.
En fait,
tu as tous les gens qui vont
adorer à apprendre
et à avoir
la plus grande bibliothèque
du monde devant soi.
Il y a des gens
qui ne vont jamais rentrer
dedans
et des gens qui vont juste
passer leur vie dedans.
Et du coup,
ça va un peu extrémiser
le taux de connaissance
chez les gens.
Il y a des gens qui vont
juste prendre beaucoup moins,
des gens qui vont en avoir
beaucoup plus.
Et en fait,
c'est une version extrême
de ce qu'il y a déjà actuellement.
Tu as déjà accès
à la plus grande bibliothèque
du monde
à chaque instant.
C'est ça.
Est-ce qu'on en profite
pour apprendre des choses
constamment?
Il y en a oui
et il y en a non.
Mais pas tant que ça.
Voilà, c'était ma petite partie.
Je suis désolé,
ça a pris un petit peu de temps.
Mais je voulais vous partager
tout ça parce que vraiment,
on le dit à chaque émission,
mais
il se passe des trucs.
C'est fou.
Non, mais on en plein cœur
d'une révolution.
Il est impossible
de ne pas dire des phrases.
C'est même une guerre.
Pour moi,
c'est en espérant.
On est sur la conquête de la Lune,
version IA.
Toutes les grandes sociétés
sont en train de s'arracher
le chose qu'il va y avoir
un gagnant de tout ça.
Il va y avoir
un ou plusieurs,
mais il va y avoir
un peu une espèce de...
Parce que celui qui gagne
le jeu de l'IA
dans les grandes sociétés,
c'est le Google de demain.
Enfin, c'est le géant
et c'est la technologie
qui peut détrôner Google,
qui peut détruire Facebook,
c'est on est sur une technologie
qui va avoir
une puissance
en termes sociales
qui va être non-humentale.
Celui qui gagne ce jeu-là,
il est un peu le maître du monde.
C'est Microsoft,
qui a des pardes en ponnaie.
Oui, ils ont trop de poids.
Mais comme on voit,
l'aspect extrait au marketing
ne renseigne pas forcément
sur le niveau de connaissance
et de recherche
dans l'ensemble des boîtes.
On voit que, par exemple,
en termes de production
de papiers scientifiques,
aujourd'hui,
il ne faut pas se mentir,
Google, Facebook
et surtout la Chine
sont extrêmement productifs
et ponctuels.
Ils en parlent peut-être moins
qu'au Poneyei,
mais c'est clairement le cas.

Les infos glanées

Je suis une fonctionnalité encore en dévelopement

Signaler une erreur

Underscore_

IA, Hacking, Robotique — Des conversations de terrain avec ceux qui construisent. 🥨


Partenariats: underscore@micorp.fr


---


Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.

Tags
Card title

Lien du podcast

[{'term': 'IA', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Investissement', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Nouvelles Technologies', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Tech', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Actu tech', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Cybersécurité', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Développement', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Dev', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Entreprenariat tech', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'IT', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Robotique', 'label': None, 'scheme': 'http://www.itunes.com/'}, {'term': 'Technology', 'label': None, 'scheme': 'http://www.itunes.com/'}]

Go somewhere