Pourquoi Banque Populaire est la première banque des entreprises ?
Je me posais des questions sur le partage de la valeur pour mes salariés.
Elodie, ma conseillère Banque Populaire, m'a proposé une solution d'épargne salariale sur mesure,
rapide à mettre en place et que je peux piloter en ligne.
C'était simple et surtout ça a fait des heureux.
Accompagner nos clients sur tous les territoires avec des solutions adaptées à leurs besoins,
c'est ça, être la première banque des entreprises, Banque Populaire, la réussite est en voulue.
Étude Quantar PMEP, mid-2023, Quatorze Banques Populaires, Première Banque des PM.
Bienvenue et déjà merci d'avoir accepté notre invite.
C'est normal, ça peut pleurer.
Je te souviens qu'on s'est déjà croisé il y a quelques années.
Je pense qu'il y a trois ou quatre ans, quand j'étais chez OVH Clown encore.
Ça fait plaisir que tu te rappelles.
Moi, je t'en bats de la ma... Je te dis à Mathieu, mais attends, mais si je sais,
j'ai pas l'air avec ce gars, il s'est dit, il y a super longtemps.
Yes.
La mémoire est floue.
Donc, pour expliquer, tu travaillais à l'époque chez OVH?
Yes.
On dit OVH Clown.
OVH Clown, je te dis direct.
Très grand point.
Aujourd'hui, tu travailles plutôt dans l'IA.
Oui, je montais ma boîte.
Ça s'appelle Gladia.
Gladia.
C'est un des seuls personnages féminins des romans de Asimov.
C'est marrant parce que je crois que je suis tombé dessus,
sans savoir que c'était toi.
C'est vrai?
Parce qu'on cherchait les solutions justement.
De reconnaissance vocale.
Exactement, explique donc ce que fait Gladia.
Nous, on est spécialisés dans la reconnaissance vocale.
Donc, on a pris une des grosses implementations open source
de reconnaissance vocale, ça s'appelle Whisper.
modèle qui est open source.
Qu'a-t-il mis open source entre autres par Nvidia?
Puis on l'a très fortement modifié, pimpé, fine tuneé.
Comment?
Nvidia.
Pardon, Nvidia, Open AI.
Excuse-moi.
My God.
Mais on va parler d'Evidia.
On va parler d'Evidia.
Non, non, pas Open AI.
Après, on l'a fine tuneé, réentraîné.
On a fait pas mal de choses dessus.
Ok.
Beaucoup changé le réseau de nos romans,
l'implémentation qu'il avait pour qu'il soit plus rapide
et qu'il soit plus rapide.
Donc, on a déjà discuté,
tu as déjà discuté ici les hallucinations et choses comme ça.
Intéressant.
Beaucoup, beaucoup de problèmes,
notamment à cause de YouTube.
Mais ça, j'ai appris cette anecdote-là,
qu'en gros, on pense qu'ils ont probablement
scrapé YouTube à mort pour...
Ah, c'est pas, on pense, c'est sûr.
C'est sûr, oui.
Comment c'est ça?
Bah, j'ai des potes qui travaillent chez Google.
Ok, alors, première question.
Qui m'ont expliqué,
qui m'ont expliqué ce que eux voyaient
passer le trafic qui sortait et...
Oui, oui, eux, ils ont un anélié.
Donc, ils voyaient le trafic sortir
et eux demandaient d'avoir accès aux vidéos
pour entrer dans leur IA
et en leur disant d'internes,
non, tu peux pas, mais ils aimaient les autres.
Les autres y font et pas nous.
Et du coup, ça a résulté en plein de choses.
C'est hyper intéressant,
parce que quand tu fais des vidéos YouTube,
souvent, ce que tu vas faire,
c'est que tu vas mettre de la musique de fond,
tu vas avoir le sous-titrage.
Souvent, à la fin de l'émission,
tu vas dire, on remercie nos partenaires, whatever.
Et... Pardon, ou...
Whatever, désolé, pas un point.
Et en fait, ce que tu vas trouver à la fin,
tu vas trouver un sous-titrage
avec ta musique de fond.
Et il va apprendre l'algorithme,
il dit, bah tiens,
ces fréquences-là, ou cette représentation spectrale-là,
ça représente telle mot et telle mot.
Alors qu'en fait, c'est ton jingle
qui a eu en plus la transcription.
Ça vient polluer, en fait.
Ça vient polluer,
ça génère beaucoup d'allucination,
une chose comme ça.
C'est pour ça que parfois,
Whisper est dit,
merci à tous pour cette vidéo.
Qui est la dernière chose que tu dis
quand tu fais une vidéo ?
Merci à tous,
abonnez-vous,
mettez des likes, etc.
Effectivement, je dirais marqué
que ça allucinait souvent
et disait souvent le truc comme ça.
Exactement, ça vient de là.
En fait, une sur-représentation
et quand il sait pas quoi mettre,
il dit, bah, qu'est-ce qui ressemble le plus ?
J'entends de la musique.
Un chose que j'ai vu avec de la musique,
c'était thank you, merci,
subscribe, etc.
Trop marrant.
C'est que probabiliste Whisper.
Trop stylé.
Mais tu fais quoi ?
On va en discuter
parce que nous, on a vraiment des besoins
en transcription et le truc comme ça.
Mais, ce n'est pas de ça
dont on parle aujourd'hui.
Puisque, on va parler de 2 sujets
relativement différents.
Un qui concerne NVIDIA
et un qui concerne ta vie passée.
Ta vie d'un temps.
Et qui va être très intéressant.
Je suis très content qu'on en parle
parce que déjà à l'époque,
j'avais entendu ton podcast
il y a très longtemps.
Yes.
Nous, limite sécu.
Exact.
Attention, référence très précise.
Et c'était pas si l'un.
Donc je suis content qu'on en puisse
en reparler.
Peut-être le temps a passé en plus.
Le temps a passé.
Je me t'ai fait pas mal bâcher
à l'époque, on en reparlait.
C'est vrai, mais pas ici.
Ici, ça va être au contraire intéressant.
Et voilà, ça, c'est pour tout tout à l'heure.
Mais pour l'instant,
on va un peu parler de NVIDIA.
Je fais même un petit intro.
NVIDIA était jusqu'ici une entreprise
surtout connue par des joueurs de jeux vidéo
pour ces cartes graphiques.
Ils ont aussi attiré l'attention
de plus de monde quand leur cours de bourse
a explosé ces derniers mois,
où ils sont devenus 3e entreprise valorisée au monde,
notamment grâce à l'IA générative.
Mais par contre, ce que beaucoup de gens
ne connaissent pas,
c'est aussi le côté sombre de NVIDIA,
leur situation de quasi-monopole
qui renfoue pas mal de géants de la tech,
mais aussi certaines de leurs pratiques
carrément limites dont on va parler aujourd'hui.
Et pour comprendre ce monde des cartes graphiques
et les coulisses de l'IA,
on parle aujourd'hui avec Jean-Louis
qui a passé dans les data centers,
qui travaille aujourd'hui dans une boîte à DIA.
Et on va parler ensemble de l'histoire d'NVIDIA
et des fils ou triques que tout le monde ne connaît pas forcément.
Merci d'avoir accepté notre invitation.
Est-ce que, déjà, pour commencer,
on peut restituer où est-ce que ça commence NVIDIA
et c'est quoi, à la base de leur business ?
Je ne vais pas te faire l'histoire complète d'NVIDIA
parce que je ne suis même pas sûr d'avoir toutes les bonnes références,
mais Jensen Wang, l'un des fondateurs,
avant de travailler dans une compagnie qui faisait des puces,
elle aussi, elle a décidé de faire sa propre compagnie.
Et originalement, NVIDIA était surtout concentrée
sur le processus graphique.
Le traitement graphique, c'est ce qu'on appelle des pipeline.
Je suis désolé, c'est un mot technique anglais,
mais qui est tout à fait valable.
Quand tu vas faire le traitement d'image,
soit en vidéo, soit dans les jeux vidéo,
tu vas avoir un certain nombre d'étapes
qui vont se suivre les unes aux autres, rasterization,
tu as plein de modules.
Et les cartes qu'on va se défaire,
l'origine, c'est que sur la carte imprimée,
tu avais un processeur pour chaque étape.
Et physiquement, la carte ressemblait à
il y a tel étape, on va faire le processing,
on a tel autre puce qui sert à ça.
Et tu voyais le flux qui venait.
Donc quand c'est les vieilles cartes, quand moi, j'étais jeune,
je sais pas si t'étais né, non, je regarde.
Quand j'étais jeune,
c'est les très vieilles cartes, les radéons,
les choses comme ça, les très vieilles cartes.
Et le génie de Jensen, à un moment donné,
c'est de dire, en fait, tous ces calculs-là,
finalement, ils sont tous globalement les mêmes,
en mathématiques, ce sont des calculs de matrice,
des calculs matriciels.
Donc il a dit plutôt que d'avoir plein de puces,
on va faire une seule puce
qui va être capable de faire des calculs matriciels,
et tous les calculs qu'on faisait avant,
qui étaient spécifiques, on va tout faire
les formules mathématiques
pour qu'elles fitent dans des calculs matriciels.
– Donc il a un peu généralisé
les problèmes classiques d'imagerions. – Exactement.
Et donc avant, tu parlais de GPU,
donc Graphical Processing Unit,
Graphic Processing Unit, et après,
tu parlais des GPGPUs, General Purpose,
Graphical Processing Unit.
Donc ils ont commencé à faire ça.
Très intéressant, un calcul matriciel,
mais qui adore les matrices ?
Les scientifiques, le calcul météo,
les simulations de mécanique des fluides.
Et donc tu as commencé à voir arriver ça
sur tout ce qu'on appelle le CAD,
donc tout ce qui est conception
assistée par ordinateur, mécanique des fluides,
comme j'ai disais, simulation, calcul scientifique, etc.
– Et ça, c'était avant les réseaux neurones ?
– Ah ouais, ouais, bien avant, bien avant,
parce que tout le monde fait du calcul matriciel,
c'est que des histoires de rotation, de choses que ça.
Même quand tu fais du calcul quantique,
puisque vous en avez parlé à quelques temps,
les calculs quantiques, ce ne sont que des opérations matricielles
de rotation. – Et les jeux vidéo aussi ?
– Et les jeux vidéo finalement, maintenant, sont plus que ça.
Donc ils ont après, ils ont beaucoup amélioré,
ils ont beaucoup optimisé, maintenant,
tu as des nouveaux éléments sur les cartes
pour faire des simulations de lumière,
de choses comme ça, mais sans entrer trop en le détail,
ils ont réussi à faire la technologie
qui permet de généraliser le calcul
qui est beaucoup utilisé effectivement en jeux vidéo
et en calcul scientifique.
Et les réseaux neurones sont arrivés après.
– Et justement, qu'est-ce qui...
C'est quoi cette transition
où je sais générer des images de jeux vidéo
à je suis utilisé pour entraîner des réseaux neurones ?
On a l'impression que c'est des tâches qui n'ont rien à voir.
– On a l'impression que c'est des tâches qui ont toutes tes matrices.
Mais en vrai, tu peux représenter le monde par des matrices,
des espaces vectorielles et par des vecteurs.
En fait, tout le monde entier est présenté par des vecteurs,
même le texte.
Peut-être on parle d'openhia et on a parlé beaucoup
dans le passé, on parle de lama aussi.
On parlait d'embeding et de choses comme ça.
En fait, c'est quoi ? Ce sont des vecteurs.
Et en fait, tout est vecteur.
Et donc les jeux vidéo, tu peux représenter des vecteurs
entre les points.
Quand tu regardes un jeu vidéo, c'est quoi ?
Tu ne vas pas faire le cercle complet de la tête d'une personne.
Ce que tu vas faire, c'est que tu vas approximer
avec des points entre eux et tu vas chercher,
on va dire, à corréler les courbes
avec des points et des lignes
qui vont ressembler le plus possible.
C'est pour ça qu'avant, vous voyez,
l'aracroft, par exemple, c'est très triangulaire.
Donc tout ce jeu d'interpolation, c'est des calculs matriciels.
Et les réseaux neurones, en fait, c'est absolument magique.
Parce qu'en fait, les réseaux neurones,
c'est exactement la même chose.
Tu vas avoir, au lieu de généraliser
l'intelligence ou la reconnaissance d'image,
en disant, on peut détecter toutes les fonctions,
on peut déterminer toutes les fonctions d'un réseau neurone.
Ce que tu vas faire, c'est que tu vas approximer le cerveau.
Et tu vas faire plein de toutes petites fonctions.
Exactement, comme j'expliquais, le visage,
il est paron, mais il va avoir des petites droites
qui se mettent ensemble.
Et si tu es suffisamment fin,
tu vas avoir l'impression que c'est circulaire,
tu vas faire la même chose sur les réseaux neurones.
Au lieu d'avoir un cerveau complet,
tu vas faire plein de petites fonctions,
ce qu'on appelle les rônes neurones,
qui sont des droites à fines,
des petites droites, on va dire, qui s'activent
ou qui s'activent pas,
et qui, assemblées tout au sein
d'un même système, vont te donner
l'impression que c'est fluide, un peu comme
t'as ton visage qui devient un rond alors que t'as plein de petites courbes.
Donc les réseaux neurones, en réalité,
c'est plein de petits neurones qui, assemblées,
donnent une fonction qui est hyper
flexible par rapport à la représentation
de la réalité pour te faire simple.
Donc c'est pour ça qu'aujourd'hui,
pour faire tourner mon IAMA,
j'ai besoin d'un GPU de plus en plus.
D'un GPU, parce que tu passes ta vie à faire ça.
Tu prends un texte,
tu vas chercher dans la mémoire
comment ce texte tu le représentes en nombre.
Ça va devenir un vecteur, ce qu'on appelle les embéding,
c'est un gros mot pour dire ça.
Tout ça, tu vas les mettre dans un gros espace mathématique
où il y a plein d'autres nombres,
et tu vas dire ce vecteur,
si je mets ce vecteur là, donc cette suite de nombres,
quel est le nombre le plus probable à arriver après ?
Donc là tu fais un calcul matriciel,
ce qu'on appelle les mécanismes d'attention,
et tu vas chercher quel est le nombre suivant
et le nombre suivant, il se trouve que c'est
je, tu, vous, etc.
C'est très intéressant dans la perspective hardware
de la toute dernière couche,
à quoi ça ressemble.
Edvidia, c'est pas les seuls
fabriqués en 2-4 graffes.
Non, ouais.
C'est les plus connus dans le jeu vidéo, mais partout en réalité.
Pourquoi est-ce que
rétrospectivement, ce sont eux qui se sont imposés,
comme partenaires indispensables
pour entraîner tous les modèles d'IA ?
Déjà ils sont très bons,
ils ne vont pas se mentir.
Ça a été les premiers à faire ces GPGPU.
Donc déjà, t'as ce truc là,
la qualité du produit,
elle est effectivement au coeur
de la plupart des boîtes, on va pas se mentir.
Maintenant, la deuxième chose qu'ils ont fait,
ils ont été très très bons là-dedans par rapport aux autres
qui ont fait du hardware, c'est qu'ils ont tout de suite
à exaquer les couches de software.
Et en fait, quand tu fais du levier
sur les cartes graphiques,
effectivement, t'as le hardware,
la deuxième couche qu'on connaît tous, c'est le driver.
Et tu as une petite couche au-dessus
qui s'appelle CUDA, donc c'est la manière dont
tu vas exprimer
des instructions au driver pour qu'ils puissent
utiliser au maximum la carte graphique.
Et puis au-dessus, t'as un certain nombre de librairies
qui se mettent dessus, CUDA, etc.
qui sont des CUDA,
des librairies CUDA, qui vont utiliser pour les
deep neural network, tu vas avoir CUBLAS
pour le basic linear à l'algebra, etc.
Et au-dessus,
tu vas avoir des frameworks, on connaît tous
SPYTORCH, TENSOR FLOW, etc.
Et eux, là où ils ont été très bons, c'est que tout de suite
ils sont allés dans les couches très hautes
du logiciel pour attraper la communauté,
abstraire la difficulté,
chose qu'on moins bien fait des gens comme AMD,
Wintel, etc.
Donc tout de suite, ça leur a donné énormément
de visibilité
sur la roadmap et de compatibilité.
C'est hyper intéressant.
Du coup, là, toutes ces couches-là,
c'est ça qui permet à un développeur
qui n'est pas forcément un expert en
cas de graphique,
d'écrire par exemple du code Python dans
la langue qu'il connaît, c'est un scientifique
il utilise probablement un Pytorch par exemple,
il va écrire ce code-là et
toutes les couches que tu as décrées lui permettent
d'utiliser à son plein potentiel la carte
qui vient d'acheter, c'est ça ? Exactement, ça va compiler
ce qu'on appelle des graphes,
des graphes d'exécution
sur la carte graphique. Et il y en a un autre
qui a fait ça, qui était très malin, c'était
Google, parce que Google
ils ont leur carte à eux qui ne puissent un peu
spécifiques aux réseaux de Nord-Orient,
qui s'appellent les TPU, Tonsor Processing Unit,
ça veut dire ce que ça veut dire, c'est les
calculs de Tonsor dont des calculs de vecteurs
et eux, ils ont été très bons aussi quand ils ont sorti
Tonsor Flow, ils ont pas sorti Tonsor Flow pour
faire plaisir, ils ont sorti Tonsor Flow parce qu'ils savaient
que leur système n'était pas général purpose.
C'était pas un système général, ça aurait été
trop compliqué à programmer, parce que les
opérations matricielles c'est simple, mais leur hardware
à eux, il est très spécifique aux réseaux de Nord-Orient.
Donc ce qu'ils ont fait, c'est que tout de suite ils ont sorti
Tonsor Flow avec une intégration native au hardware
pour être sûr qu'il y avait une adoption du hardware
qui était liée au software.
Mais si ils n'avaient pas été derrière Tonsor Flow,
le TPU n'aurait jamais fonctionné.
Ah, donc en fait, il y a une sorte de jumelage
entre le
cilicium, entre vraiment
l'objet, quoi, et l'outil
qui vont être utilisés par les programmeurs.
Et surtout, ça leur garantit que tous les
prochains modèles qui seront compatibles avec Tonsor Flow
Google pourra les utiliser aussi. Ça va dans l'autre sens ?
Ça va dans l'autre sens, même si Google
je pense qu'ils n'ont pas vraiment besoin de ça, ils mettent 1,5
milliards par trimestre.
Ils mettent 6 milliards par an sur la table,
ils ont pas besoin de nos de l'opensure, ça t'inquiète pas.
Mais oui, ça leur a assuré
surtout d'avoir une visibilité,
il y a énormément de papier de recherche
qui se sont calés sur Tonsor Flow pendant des années.
Ensuite, PyTorch, ils sont arrivés, PyTorch,
c'était beaucoup plus agnostique, ça venait de Facebook.
D'ailleurs, je sais pas si vous avez vu les derniers chiffres
de Facebook, les achats de cartes graphiques chez NVIDIA
sont absolument monstrueux.
Mais en tout cas, ça leur a assuré
pendant un certain temps d'avoir
un pool de recherche chez eux,
d'avoir du recrutement dans les universités
parce que c'est beaucoup la bataille des talents.
Donc ils ont un peu imposé ce standard
qui leur a permis d'être en avance pendant quelques années.
Et c'est marrant que tu parles de Facebook,
justement, parce que tout le monde
achète des cartes, on l'a vu, tout le monde
achète en très très grande quantité des cartes
NVIDIA. Et si j'ai bien compris,
c'est difficile en réalité.
Il y a une telle tension, une telle demande
sur le marché des cartes graphiques
pour l'IA, entre autres,
qu'en fait, il y a une file d'attente, non ?
Il y a une file d'attente qui est... en fait, il y a 3 choses
qui se sont combinées.
Il y a de la géopolitique là-dedans, une orde,
mais on peut être passionné de géopolitique aussi. T'as eu le Covid.
C'est venu le Covid taper
dans un des problèmes
que c'est que tu parles de Cilicione,
mais à mon avis, le Cilicione, il vient de quelque part.
Et c'est les extractions de minerais.
Et la plus grosse source de ces minerais
qui sont nécessaires à la fabrication de ces puces, là, c'est en Chine.
Donc le Covid-19
blocage de la Chine. Donc déjà, c'est le premier
problème géopolitique.
T'en as eu un deuxième qui est arrivé,
il s'appelle le Taïwan.
Et l'un des plus gros producteurs de puces au monde,
c'était ASMC.
C'est ce qu'on appelle un fonder.
Je sais que Mathieu, on avait parlé il y a quelques temps
sur la mission. Et c'est une fonderie.
Et la fonderie, en gros, son job,
c'est qu'on lui donne des plans
et il l'exécute la fabrication
de ce qu'on lui a donné sur les plans.
Et donc c'est pareil avec les tensions avec Taïwan.
C'est un petit peu tendu.
Et donc ce qui s'est passé, effectivement,
c'est qu'il y a eu la révolution de Liyac qui est arrivée
et qui en plus fait un boom là-dessus.
Et ces trois événements combinés
ont fait que c'est devenu un petit peu compliqué
les fonder, donc ceux qui fabriquent.
Sachant qu'il y en a très peu
qui ont de fabriques,
enfin de fournisseurs
de hardware type Intel AMD etc.
qui ont leur propre chaîne. Intel l'un
mais ce n'est pas le cas de la plupart des gens.
Donc ça a été un petit peu chaud.
Ce qui est marrant, c'est que, comme tu disais,
Facebook a fait des commandes gigantesques.
Ils ont un peu peut-être senti le nez
en avance
pour se faire un énorme stock.
Et en même temps, anecdote rigolote,
nous on était invités à une conférence chez META
pour parler notamment de leur nouveauté en IA.
Et ça se voyait
qu'ils n'étaient pas achatés d'avoir
que Nvidia en option
pour pouvoir entraîner leur modèle.
Il roule pété un peu.
On aimerait bien qu'il y en ait d'autres quand même.
Mais qu'est-ce qu'il fait ?
Pourquoi ils sont
si ces cartes sont super bonnes ?
Pourquoi
il y a une certaine résistance
des géants de la tech
envers Nvidia ?
Qu'est-ce qu'ils font
qu'on n'aime pas ?
Bon, comme toute compagnie
qui a plus ou moins le monopole
tu as une manière d'imposer tes prix
qui a un sujet
effectivement important et à considérer.
Ils ont une phase.
Il ne négocie pas par exemple ?
Je ne peux pas trop rentrer dans les détails.
Mais c'est des gens qui ont
une vision de leur marché et de leur prix
qui ont le monopole, ils font ce qu'ils veulent.
Tu ne négocies pas le prix
de tes ads Facebook.
Facebook a le monopole sur tes données
tu ne négocies pas le prix de tes ads
sur LinkedIn. LinkedIn a le monopole.
Quand tu as un marché monopolistique
tu subis les prix d'une certaine manière.
Déjà, tu as cette première chose-là.
Il y a plein d'autres
sujets qui viennent
mais il y a énormément de batailles
sur la priorité effectivement
dans les files d'attente.
Il y a beaucoup de providers
je dirais pas les noms mais qui se shipent
qui se volent les lignes de commande.
Disant, il y avait un 100 000
tu me le donnes et tu me l'amènes
à moi et je passe en priorité etc.
Donc là c'est même plus un sujet de payer.
Quand tu es rendu là où tu te dis
le sujet c'est pas de payer, le sujet c'est d'avoir
je pense effectivement
tu choisis ce que tu veux.
Je ne vais pas rentrer dans les détails
des prix, ce n'est pas moi qui gère ces choses-là
mais effectivement
c'est leur façon
de fonctionner. Il y a eu un autre truc
qui m'a fait penser
à une anecdote
à la mort de Johnny Hadid.
T'as eu
deux types de réactions
des gens d'Amazon pendant la nuit
ils ont pris leur téléphone, ils ont appelé
Universal, ils ont dit je veux toutes les
discographies de Johnny Hadid dans mon stock
parce qu'ils savaient que le lendemain à 8-10h
ça allait être les civets
et ils savaient que tout le monde allait acheter
et puis t'as plus les anciens
qui se rêvaient, 8-10h
il y avait ou l'oie, il faudrait qu'on achète Johnny Hadid
hop y'avait plus rien chez les fournisseurs
t'as un petit peu
le même effet dans les GPU
où les gens ils essayent
de préhompter avant que les vagues arrivent
et
parfois
quand tu t'appelles Nvidia par exemple
et que tu as vu le Covid arriver
et que tu vois les trucs arriver, tu peux aller voir les fournisseurs,
TSMC, les fonderies
ce qu'on appelle les gens qui fabriquent les puces
et dire bah moi je préhompte
toute ta chaîne de production
pendant les 24 prochains mois
et si t'es un petit peu
moins business orienté
que t'es un peu plus loin à la détente
et que tu t'appelles, je sais pas, AMD ou autre
et que tu viens et tu dis j'aurais besoin de supply chain
et tu fais bah non désolé le mec avant il est passé
il a tout raflé
il a acheté tous les 10 de Johnny Hadid
il y a plus de dispos basés, un peu ça aussi qui se passe
et à ce moment là tu dois faire des arbitrages sur la supply
donc tu vois ils sont aussi très très très agressifs là dessus
il y a pas de réglementation
justement là dessus
tu ne suis pas suffisamment reconnaisseur pour te dire
mais en tout cas je sais qu'il y a des choses comme ça qui se sont passées
Salut ! Si vous appréciez Endorscorp
vous pouvez nous aider de ouf
en mettant 5 étoiles sur Apple Podcast
en mettant une idée d'invité que vous aimeriez qu'on reçoive
ça permet de faire remonter Endorscorp
telle une fusée
t'as mentionné un des arguments forts aussi de Nvidia
c'était pas seulement la qualité la plus c'était cette histoire de CUDA
et c'est un mot que pas mal de gens connaissent en finale
parce que typiquement c'est déjà fait du montage vidéo
tu vois qu'il faut utiliser le rendu CUDA
on sait pas trop ce que c'est
CUDA mais est-ce que
AMD a un équivalent
et pourquoi ça n'a pas pris
si c'est le cas ?
C'est une bonne question, ils ont un équivalent qui s'appelle
RockM
qui est pas mal aussi
mais en fait c'est toute une question de communauté
d'open source tu vois
si l'open source prend pas derrière
là où Nvidia est vraiment super bon
c'est qu'ils ont eu la masse critique de développeurs
en fait Jensen Rang a mis beaucoup d'efforts
sur le software
alors que c'est un fournisseur des hardware
c'est complètement antithétique
mais en fait comme je disais sur TensorFlow
l'adoption passe par le software
et à partir du moment où tu as la masse critique
et tu arrives à créer un bon soft
qui est absorbé par la communauté et la communauté en fait s'emballe
et fait le soft pour toi
chose qu'AMD a jamais
poussé dans son ADN d'aller faire du soft
donc là ils se sont pris les doigts dans la porte
et ils sont en train de corriger ça
Facebook aide beaucoup, il y a quelques boîtes
qui sont montées, qui sont spécifiques à faire ça
donc là, ugly face
ils poussent AMD parce que ce serait mieux
et tout le monde poussent AMD
qui est de la concurrence
ben ouais tout le monde veut ça
je veux dire les premiers, je veux dire le prix des cartes
que tu reviens
enfin après tu ressens dans le prix de vente des cloud
tu regardes une AMI 200, AMI 300
je parle même pas de l'achat, je parle du prix de vente
qui est corrélé au prix d'achat du club pro-header
ça n'a rien à voir en termes de puissance
et puis il y a un autre truc que AMD a fait très mal
mais ça c'est mon avis perso
quand l'IA est arrivée
je parle de GNAIA et un peu tout ça
tu vois il y a 4-5 ans
le pari d'Envidia a été de
réduire ce qu'on appelle la précision
donc on parle souvent de 32 bits
on entend un peu parler de ça
donc c'est comment tu représentes
je parlais de la matrice, comment tu représentes
une valeur dans la matrice et tu vas utiliser 32 bits
pour la présenter
et Envidia a compris quelque chose
de très smart
quand on a tous fait à l'école
si tu fais 10 puissance moins 3
enfin 10 puissance moins 3
fois 10 puissance moins 3
et tu veux un résultat en 10 puissance moins 3
bah en fait t'as trop calculé
parce que 10 fois 3 x 10 moins 3 ça fait 10 moins 6
donc il y a la moitié de ton opération
qui para la poubelle
quand tu fais des quelques dérégions de raisonneron
tu passes ton temps à faire ça
tu fais A plus B x C
donc la précision que t'as sur B est la précision que t'as sur C
donc c'est un peu technique mais B x C c'est 10 moins 3 x 10 moins 3
et toi à la fin tu voulais un résultat
en 10 moins 3 donc je suis pas assez clair
mais en B x C t'as eu tenu 10 moins 6
t'as fait trop de calculs
t'as consommé trop de calculs et là
où Envidia a été super malin ils ont dit
en fait si je veux un résultat admettant en 10 moins 3
bah en fait je pourrais juste
calculer moins en faisant B x C
et utiliser moins de calculs et avoir
2 fois plus de processeurs
à la fin le résultat il est le même c'est 10 moins 3
et donc ils ont réduit le nombre de chiffres
après la virgule ? de représentation
et en fait ça s'appelle donc des floating point
donc tu vas faire floating point 16
donc tu vas représenter sur 16 bits
enfin 32 bits
plus une chose en 16 bits x une chose en 16 bits
te donne un résultat en 32 bits
et AMD
donc là tu utilises
tu peux compacter plus d'infrastructures plus de calculs
sur une superficie moindre
donc j'expliquerai après comment ils ont triché
et AMD est parti dans l'autre sens
ils sont partis en 64 bits
64 bits ça sert beaucoup pour la météo
les choses comme ça mais ça sert moins sur LIA
donc tu retrouves avec des cartes
qu'on a même taille
mais qui finalement
ont plus de puissance qu'à le calcul théorique
mais dans la réalité pour les raisons de ronde tu t'en fous en fait
c'est à dire que la taille des octets disponibles
avait un impact direct
sur
les futurs usages très lointains
de ces cartes graphiques et donc sur le fait
qu'il y en a un qui a très bien marché pas l'autre
ce qui veut pas dire du coup
que les cartes graphiques de AMD sont moins bien
c'est juste qu'elles sont
elles sont meilleures pour d'autres usages
qui aujourd'hui
ont un impact
financier moindre et du coup
elles sont moins intéressantes
mais en fait ils ont pas
tu parlais de ça ils ont fait ce choix là
il y a 4-5 ans tu disais
ils ont pas senti que la vague
intelligence artificielle machine learning
parce qu'il y a 4-5 ans on parlait pas de genéaï
mais on parlait quand même de réseaux de neurones
est-ce que c'était par
à ce moment là évident dans le monde de la carte graphique
que c'était l'autre direction qu'il fallait prendre
ben c'est dur moi je suis pas
dans les gens qui design mais quand tu design une puce
probablement que t'as 3-4 ans en engineering
avant de commencer
à le mettre en prod et t'as probablement
12-24 mois avant que la carte est sorte
donc ça va vrai il faut que tu planifies 5 ans à l'avance
de ce qui va se passer sur les zones neurones et à l'époque
si je te prends
et je te dis ça c'était il y a 2-3 ans
5 ans ça fait 7 ans en arrière
il y a 7 ans en arrière je veux dire on faisait
du image net qui tournait en 30 secondes
pour connaître un chat d'un chien donc
c'est là où Nvidia
et Jensen j'ai la chance de le rencontrer
le mec est juste brillant
c'est juste un mec
on peut pas imaginer c'est des gens qui pensent différemment
mais ça a été une faute d'AMD
très très forte
et pour revenir sur Nvidia on parlait un petit peu de triche
ils ont un petit peu triché
parce que ces puissances de calcul
en 32 bits on appelle ça
des teraflops je pense que tout le monde
on n'aurait pas de teraflops
c'est le nombre de flops
floating operation per seconde qu'on est capable de sortir
et floating operation per seconde
ça se compte en 32 bits
et eux ils ont dit les cartes sont
toujours de la même taille
on peut pas vraiment consommer plus que 300 à 400 watts
la taille de gravure
elle commence à être un peu limitée
parce qu'au bout d'un moment
tes électrons ils commencent à sauter donc tu perds de la qualité
donc et à un moment donné
on va falloir qu'on ne comparte plus d'opération
physiquement sur la carte
donc tu es un petit peu emmerdée
donc ça là ils se disent si je garde le même nombre
de coups d'accord
mais que je les coupe en deux sur la moitié
de l'opération je fais du 16x16
bon si le résultat est en 32 bits
bon le résultat il est là
les gens sont contents donc ils ont appelé ça
des tonsureflops et ça s'écrit tflops aussi
teraflops, tonsureflops
et le résultat est en 32 bits aussi
et donc ils ont dit bah voilà nos cartes elles sont 2 fois plus puissantes
en tflops mais sauf que le tflop
est plus le même
et t'as un
ah ouais c'est des petits malins
c'est des petits malins
donc les mecs ils ont commencé évidemment
à faire leurs goûts
l'objectif c'était quoi ? c'était de continuer
une progression linéaire c'est ça ?
exactement
ça c'est un truc que j'ai appris
à l'époque je suis au vèche Claude
avec Octave qui est un mec ultra-aurion
c'est que tout dans le Claude est linéaire
tout
si t'achètes des bases de données tu vas avoir une linéarité du prix
par rapport à la RAM
parce que c'est l'élément bloquant quand tu fais des base données
si t'achètes du web ou du cpu
ça va être évidemment le cpu, si tu achètes du storage
ça va être linéaire par rapport au storage
et on y a qu'est-ce qui est linéaire ?
ça c'est super dur parce que les cartes graphiques elles ont des générations
donc tu vois des gables de prix mais tu les comprends pas
et tu peux diviser par tout ce que tu veux mais à la fin
la linéarité vient du teraflop
sauf que le teraflop il a fait ça
et à un moment donné t'as la taille de gravure qui est limitée
et il a commencé à faire ça
donc ils ont dit bah moi si je veux vendre plus cher
faire plus de pognon
il faut faire que je continue ma courbe comme ça
mais elle est en train de s'écraser à cause de la taille de gravure
donc on va mettre une autre unité
de change de calibre et on va recommencer une pente
et donc tu peux revendre des cartes
sur un nouvel axe avec une linéarité
qui est un peu factice quoi
pas factice, à la fin tu obtiens ce pourquoi tu payes
ça te regarde pas
comment ils ont géré la compression
les choses comme ça tu vois
mais ça a mis très longtemps
les nouvelles générations, les A100
donc ça a vraiment commencé avec les A100
la nouvelle génération
tout le monde s'est regardé dans le cloud
en faisant le prix qu'on applique
parce qu'en fait on a perdu notre mesure
c'est un peu comme si tu sortais une nouvelle RAM
qui t'a coûté plus cher
qu'à un algo de compression dans la RAM spécifique
et tout le monde se regarde d'ailleurs
c'est ce qui est arrivé avec le NVMe
tout le monde se regarde en disant
combien on va s'aligner sur le prix
quelle est la nouvelle linéarité au niveau du business model
tout le monde s'est un peu regardé, les A100
elles ont mis beaucoup de temps à avoir leur pricing qui sort
parce que tout le monde s'est beaucoup regardé
maintenant que les A100 sont sortis
les A100 qui sont de la même techno
la même type de génération
tout de suite on a aligné les prix et puis on s'était parti
c'était assez marrant à regarder
et justement en parlant de prix tout ça
on parle de GPU de t'a mentionné des A100
ça c'est vraiment des entreprises de data center
typiquement utilisées dans le IA
c'est ce qu'achète Facebook
typiquement pour entraîner le programme RAM
par exemple
ce que connaissent les gens
typiquement les gamers c'est plutôt les cartes d'entraînement
ou là
pour le coup de l'extérieur
en tout cas la bataille est plutôt en train de changer
où on a eu une domination
historique complète de Nvidia
et où aujourd'hui ça commence
notamment dans le jeu vidéo pour plein d'autres applications
de venir logique et intéressant
de prendre du AMD, voir plus compétitif
mais sur l'IA aussi t'inquiètes
c'est la question que je vais poser
est-ce que ça peut durer éternellement
cette hegemonie dans l'entreprise ?
Non c'est impossible parce qu'à un moment donné
t'as la pression du marché
je vais rester poli mais
ça embête tout le monde
vous avez compris le mot ça fait
embêter tout le monde on va dire de payer
de payer très cher
des produits où tu vois
de l'autre côté que
tu vois une autre bagnole entre guillemets
et tu dis elle est pas compatible
avec la route ou c'est pas le même standard
je sais pas des trains c'est pas le même standard
des rails ou je sais pas quoi
tu vois le train il est moins cher
il va aussi vite
et puis tu vois je le paye
10 fois le prix le ticket
et puis à un moment donné toute la comété
se dit ok on va prendre nos piolets
on va démonter les rails
et puis on va faire un truc qui est adaptable
et c'est ce que fait le gros travail que fait Higgingface
si tu regardes Higgingface c'est hyper intéressant
donc qui est-ce que tu peux expliquer recitue ?
ah pardon excuse moi Higgingface
je suis trop dans mon truc
Higgingface c'est
la boîte
française, cocorico
même si ils sont basés pas mal aux us
qui a démocratisé
les modèles
d'IA dans l'open source
on va simplifier donc ils ont pris
à l'origine beaucoup d'implémentation
des chercheurs des papiers de recherche
ou des implementations un peu crados
que faisaient les chercheurs sur leur épau
ils ont mis ça tout dans un bloc
après ils ont dit on peut consulter telle chose
et puis on commençait à faire une hybrérique, ça s'appelle transformer
et maintenant c'est devenu le standard
et
Higgingface ils sont
très bien financés je sais pas leurs vallos
ça va être 4 milliards ou quelque chose
4.5 milliards
ils y pizzi
mais c'est eux qui prennent les piollets du coup
comment ? c'est eux qui ont pris les piollets
c'est leur communauté qui prend les piollets donc eux évidemment ils sont leaders là-dessus
ils sont un peu en train de faire la gestion de projet
ils sont aussi avec des gens brillants chez eux
absolument brillants
ils ont une commu qui est incroyable aussi
les chiefs science
Julien, Thomas
Clément et tout ça
sont des gens absolument brillants
mais
sans la force de la commu
ça va être quand même compliqué de venir encasser ce truc là
mais si tu regardes leurs financements
c'est drôle le dernier rang de financement
je suis pas certain qu'ils en aient eu besoin
mais ils l'ont fait et tu regardes qui s'est mis derrière
et ce sont que
pas que mais une grosse partie de gens qui font du hardware
genre du Qualcomm
du AMD, du machin qui sont venus mettre le pognon
mais la raison elle est simple c'est
on met du pognon à tel valo
mais en échange on veut du dedicated
du temps dédié dans la roadmap
pour que votre libre, qui est un peu le standard maintenant
tu m'en parlais de Pytorch, le truc légèrement au-dessus de Pytorch
que votre standard maintenant puisse
être capable de supporter d'autres hardware
en gros ils ont raté la vague
la première vague Pytorch etc
là ils veulent vraiment pas rater ça de l'après
personne veut rater ça de l'après
c'est une mine absolument monstrueuse
d'argent
qui est en train de débouler
mais c'est des très bonnes cartes
tu vois tout le monde regarde la MI200 et MI300
tout le monde l'a regarde
donc ça va bouger je donne peut-être
18-24 mois avant que ce soit vraiment
chamboulé quoi et les Claude Providers sont les premiers
tu regardes AWS, ils ont des plus qui s'appellent
Inférentia, donc ils ont acheté une boîte israélienne
qui s'appelle Ana Purna
et ils ont dit
bon ben on a un cost
ce qu'on appelle un capex
quand on fait du Claude c'est du capital expense
donc l'achat de la machine
que tu vas... tu me dis si c'est trop technique
non ça va au contraire ça va ça
qui va être amorti sur plusieurs années
par exemple sur les cinq prochaines années
en gros je simplifie mais je vais pas faire
d'argent je vais rembourser ma machine
un peu comme si tu achetais de l'immobilier
sauf que tu le fais sur 20 ans dans l'immobilier
tu fais même chose sur 5 ans avec du hardware
mais tu dis je serais cachou positive
dans 5 ans je vais rembourser mon capex
donc tout le reste sera bonus
et en fait quand tu as ces réseaux de morts
là
tu sens bien
que la pression
tu vas pas continuer à payer des cartes
une fortune
quand tu vois que le principal élément
dans ton capex de ta machine d'IA
c'est un fournisseur
tu vas commencer à foutre la pression en disant
faut qu'on réduise ce coup là incompressible
comment on fait
et au bout d'un moment quand la pression est trop forte
pour un industriel
tu dis qui est-ce que je peux financer
pour que dans 3 ans ou 4 ans
je puisse réduire mes coûts pour la prochaine génération
des coûts par 2 ou 3
donc c'était inévitable
ça ne peut pas exister
à mon donné la pression du marché est trop forte et ça serait équilibre
l'équilibre des forces
comment l'équipe des forces toujours
est-ce qu'il y a
est-ce que tu connais d'autres concurrents
autres qu'AMD qui pourraient
faire cette course ?
j'ai envie de te dire une telle
mais une telle m'ont tellement déçu
dans les dernières années
moi ce que j'ai de l'extérieur
ce que j'ai constaté c'est que
leurs nouveaux GPU
plutôt pour le grand public
qui sont dans les 200, 300 etc
plutôt est une très bonne réception
après des mises à jour de travailler
mais à la fin aujourd'hui
il s'est considéré comme un plutôt bon achat
si tu ne fais pas des trucs trop spécifiques
ou tu as besoin d'un Nvidia nécessairement
mais j'avais cette impression
mais du point de vue utilisé
du point de vue grand public
là où AMD va très bien
donc tu as 3 gammes
mais tu as le grand public
après tu vas avoir la gamme cloud
dans la gamme cloud tu as 2 gammes
tu as ce qu'on appelle le VDI
le virtual desktop
tout ce qui est virtual desktop
des windows à distance
et tout ça
tout la gamme qui va être plutôt calcul scientifique
et ensuite tu as une 3e gamme
qui se rejoint un peu avec la gamme data center
qui est la gamme calcul scientifique
mais ce qu'on appelle HPC
high performance computing donc calcul scientifique
c'est les mastodontes
les trucs c'est énorme, en France on a Jean Zay
il y en a un autre qui va être ouvert
enfin c'est des trucs qui servent à la météo
tu vas typiquement bulle
je sais pas si vous avez parlé de Dato
ce qui se casse un peu la figure
à la tour ça va être acheté une belle boîte
qui s'appelait Bule à l'époque
qui faisait des supers simulateurs de bombes atomiques
des effets de la bombe atomique
de la météo etc.
ils installent des supers calculateurs partout
tu vois tu as un peu cette gamme super calculateur
on parle des fourberies un peu envidia
ils ont racheté
une très belle boîte à l'époque
je l'ai oublié le nom
qui faisait des très très bonnes cartes réseaux
très hautes performances
du coup ils ont un peu le
ils ont le cartes graphique
ils avaient la carte réseau très haute performance
pour faire de l'intercourse qu'on appelle
infinite band donc très très haute vitesse de réseau
en fibre optique
et ils voulaient racheter ARM
pour avoir CPU, GPU et réseau
quand t'as les trois là
tu vois là
t'as les infinite stone au même endroit
c'est un peu ça donc ils ont pas réussi ARM
qui était une techno sous licence UK
parce que l'Europe a mis une levée de bouclier
mais
dans le genre
des trucs qui ont fait un petit peu
créer un monopole y compris sur le
le calcul scientifique
et en tout cas donc Intel
plutôt bon peut-être
sur la partie grand public mais sur la partie data center
pour l'instant nous en tant que scientifique
on voit plutôt AMD arriver
que Intel pour l'instant
mais j'aimerais bien qu'Intel soit dans la boucle
tu veux que c'est George Hottes ?
non c'est le gars qui fait Tiny Corp
c'est-à-dire la mode
non c'était juste pour savoir
parce qu'en gros lui il conçoit des
des boîtes
plutôt en ayant des contumeurs
aux petites entreprises à mon avis
et son objectif
enfin le constat il est super simple c'est que
quand tu regardes les gammes de prix
aujourd'hui en termes de
coups par VRAM
par Gigad VRAM il y a rien de mieux que
déjà du AMD
enfin Cotene Vidiat
rien de mieux que des
4M, 490 ou des choses comme ça
100% lié avec toi
et côté AMD
c'est encore plus délirant
tu peux avoir des 24 Gigas de VRAM pour
littéralement rien
et lui il est parti de te constater
il s'est dit du coup je vais concevoir une boîte
avec 8 cartes graphiques à l'intérieur
je me charge de
parce qu'il existe des tutos pour faire ça
chez soi mais je me charge de tout le bordel
de faire en sorte que le système soit stable
fonctionne soit alimenté correctement
je te fais une jolie
tu as une petite prévue si tu montes un peu au-dessus
je te fais une jolie boîte autour avec un petit écran
et en gros j'essaie de devenir
la prochaine référence pour
lia local où les gens pourront
acheter ça chez eux et avoir
leur propre
super ordinateur
et faire tourner les modèles les plus
mass-tock c'est aussi peut-être
je pense plus pour les petites entreprises
qui ont des besoins mais pas assez
qui veulent pas se ruiner en facture
de cloud
et du coup lui raconte justement
le fait que
il avait tout prévu pour AMD mais qu'en gros il se heurte
à des murs sur
des détails très bas niveau sur la manière dont il
sur des bugs qu'il a trouvé dans leur
driver et qui sont infernaux
et qui veulent absolument rien
d'open source et qui comprend pas
parce que c'est assez marrant
à suivre cette histoire et du coup
tu as la même chose sur Nvidia
je me souviens
c'était les
les Pogs peut-être les A6000
que j'avais eu mais ça
du coup je peux en parler
donc je peux pas vraiment parler mais
il y a des trucs
que je peux parler mais t'as des choses
par exemple dans les librais que je parlais
de ce qu'on appelle mix precision
donc les fameux 10.3x10.3
donc je parlais
donc ce qui s'appelle le mix precision
je me souviens avoir vu
hard-coded
ça marche pas et on a pas des bonnes perves
et tout donc je vais commencer à voir
dans les couches et je trouve
if
cuda virgin
c'est quoi
égal égal 8.0
alors tu peux faire telle opération sinon on va te faire voir
et en fait c'était hard-coded
dans le soft de pilotage
que même si t'avais les opérateurs
sur la carte, ce qu'on appelle les opérateurs
donc
des floating point 8, 16 etc
tu pouvais pas parce que le hardware
déclare une certaine version
et c'était 8.0 sauf que
une des cartes que j'avais c'était 8.5
qui était supérieure
donc t'avais juste un tout petit signe à changer
en cpp
la PR est jamais été acceptée
théoriquement tu pourrais utiliser des assans
en faisant du supérieur ou égal à 7.0
qui sont l'ancienne génération mais c'est pareil
les poules réconcentées
c'était un détail qui t'empêche
c'est des tout petits détails qui t'empêche d'utiliser
il y a pas mal, t'as aussi des bugs de driver
moi je sais que
les dernières mois on avait testé
je vais pas cracher sur Nvidia, ils font du bon boulot
donc j'ai pas envie qu'ils me blacklistent
mais sinon je suis dans la merde
mais les L40S
dernièrement qu'on avait testé
on a eu beaucoup de problèmes de driver
c'est pas que tout le monde a un c'est très dur le hardware
par contre ce que tu as montré
c'est très intéressant
parce que théoriquement
t'es pas supposé faire du business avec des cartes consumer
quand t'es chez Nvidia
mais t'es pas censé les mettre en location
par exemple ou des choses comme ça mais est-ce que tu peux...
t'es pas supposé faire du cloud avec
mais c'est limite ce qu'il fait
ouais mais c'est limite
je pense que lui justement
sa taille c'est plutôt une alternative
au cloud, c'est un mode
vous pouvez l'acheter chez vous
et si ça se trouve, j'ai pas une question
non non mais je pense que c'est bon
mais t'es à la limite
en réalité t'es pas supposé faire du... effectivement
de la location dans le cloud etc
donc oui ça passe mais...
c'est flou
ça va encore, il fait pas de la revente
et en fait tu pourrais pas faire de la revente
de licence Nvidia et quand tu as des drivers
par exemple Windows ou des choses comme ça
tu peux pas faire de la revente
d'un logiciel
qui est distribué type Nvidia
type driver windows donc quand tu commences
à faire du... ce qu'on appelait du video
et du virtual desktop et des choses comme ça
je suis pas... je suis pas l'oyer
donc je vais faire attention mais
tu rentres dans des zones un peu grises du cloud
et même si je savais je pourrais pas les dire
en tout cas
on en a perdu un peu de jour sur cette fin
mais c'était... pardon
c'est rare, on a le temps de pouvoir
discuter justement de ces coulisses, de ces entrailles
qui sont hyper importantes en fait
parce que c'est ça
qui impacte le plus en réalité
tout ce qui est en train de se passer en IA etc
les jeux de pouvoirs, les trucs comme ça c'est très intéressant
...