Et si tu gérais ton propre cloud avec un logiciel open source ? Accroche-toi à ton casque parce
que aujourd'hui on plonge dans le monde fascinant de Proxmox en production. Tu te demandes peut-être
comment gérer 200 VM comme un pro ? Tu vas bien trouver la réponse dans ce podcast. Alors je te
l'annonce d'emblée, notre invité du jour est un véritable maître en la matière. Il gère un
cluster monstrueux vous vous à craquer de VM avec du Ceph pour le stockage. Oui tu as bien entendu
200 VM. Et si tu penses que c'est tout bah d'ailleurs trompe-toi parce que Valentin il a
développé une interface web pour déployer des VM avec Terraform. Ouais ce mec il respire le DevOps
et en plus il a créé sa boîte pour accompagner les entreprises à aller vers l'avenir. Alors
prépare-toi à décoller vers les sommets d'expertise. Bienvenue sur Radio DevOps, la balade au
diffusion des compagnons du DevOps. Si c'est la première fois que tu nous écoutes abonne-toi pour ne
pas rater les futurs épisodes. C'est parti ! Bonjour à toi chers compagnons et bienvenue dans ce
nouvel épisode d'en apparté l'émission où je m'entretiens avec un invité qui tu l'auras compris
aujourd'hui on va parler de Cloud privé avec Proxmox et Terraform. Alors avant de commencer je te
rappelle que j'ai créé et que j'anime une communauté en ligne francophone dédiée au Cloud et au DevOps.
Ça s'appelle les compagnons du DevOps. Cette communauté c'est bien sûr le podcast que tu
en train d'écouter ou de regarder sur YouTube puisqu'il y a de la chaîne YouTube mais c'est
avant tout une communauté en ligne un forum où on échange avec plus de 1500 personnes aujourd'hui
quotidiennement sur justement ce forum. Donc rejoins nous pour ne plus être seul face à tes questions
puisque tu as plein de réponses sur le forum. C'est le premier lien en description pour t'inscrire
où tu peux aller sur le site compagnons-dvops.fr tu verras une petite description tu pourras t'inscrire
et tu recevras l'invitation au forum. Alors aujourd'hui j'ai le plaisir de recevoir l'homme qui
murmurait à l'oreille d'EVM à savoir Valentin Ouvrar. Alors bonjour Valentin est-ce que tu
peux te présenter en quelques mots et nous dire ce que tu fais dans la vie ? Bonjour Christophe
déjà je suis ravi de passer sur ton podcast. Je m'appelle Valentin Ouvrar je vis en Nouvelle
et je suis administrateur système Linux et réseau dans un fournisseur d'accès et donc je
commençais classique à créer et administrer des machines et ça fait à peu près cinq ans que
je me suis vraiment intéressé aux preneurs grâce à Docker au début pour simplifier le packaging
d'application et petit à petit à Kubernetes, l'automatisation des VM avec moi je suis parti
plus sur Soul Stack à l'époque voilà et également des clusters de serveurs physiques pour créer
des VM et depuis peu j'ai monté ma société à mon compte Ops Nc donc pour réaliser des
formations des prestations en entreprise également pour la fonction publique de Nouvelle-Calédonie
et les accompagner vers ce nouveau paradigme qui est l'approche des DevOps. Et bien merci de toute
façon je mets le lien de Ops Nc en description. Alors j'ai quelques questions que je pose à
chaque fois pour commencer dans les épisodes de podcast et notamment ces épisodes d'interviews
et la première c'est quelle est ta propre définition à toi du DevOps ? Très bien moi j'aime bien
illustrer ça par le fait que dans le passé on avait tendance à avoir les Ops et les devs dans
un bureau séparé qui ne faisait pas du tout le même travail avec un gros mur au milieu et donc
les seules communications qu'ils avaient entre eux s'est envoyé des tickets et donc les développeurs
étaient souvent mécontents des Ops qui leur demandaient trop de sécurité ou qui mettaient trop
de temps pour leur créer les machines sur lequel mettre leur application et les Ops étaient souvent
en critique envers les devs parce qu'ils ne cherchent pas forcément à comprendre comment le
système fonctionne et tout. Donc le DevOps j'ai l'impression que c'est un petit peu de casser
ce mur et responsabiliser les devs à comment leur application doit tourner jusqu'en production
et également responsabiliser les Ops à mieux comprendre les besoins des devs et à leur fournir
les outils pour qu'ils soient un peu plus autonomes dans leur développement. Et toi justement tu
l'as vécu cette cette séparation avec le mur entre les devs et les Ops dans ton expérience
professionnelle ? Pas vraiment parce que dans ma boîte actuelle on a peu de développeurs vu
qu'on est un FII donc on a eu maximum de trois développeurs donc forcément on était déjà plus
ou moins en cette approche des Ops mais en travaillant en prestations dans d'autres entreprises j'ai
vraiment vu cette frontière avec ces tickets girables pour qu'elle une VN qui prend une semaine etc.
Donc je l'ai vécu mais pas vraiment dans mon entreprise. Ouais c'est quelque chose qu'on a
pas tous vécu moi c'est vrai que je l'ai vécu c'est pour ça qu'aujourd'hui je fais ça parce que ça
m'a vraiment traumatisé dans mon expérience professionnelle justement toi comment est-ce
que tu as rencontré le DevOps et qu'est-ce que ça a changé dans ta vie professionnelle ? On va
dire que les premiers outils DevOps qu'on peut qualifier de DevOps que j'ai utilisé ça a été
docker et un dégestionnaire de configuration donc Soul Stack on utilisait Peppet à l'époque
mais j'ai effectué une migration vers Soul Stack que je trouvais plus simple d'utilisation et aussi
écrit en piton et vu qu'on utilise beaucoup de piton dans l'entreprise ça permettait de
potentiellement contribuer à l'outil etc. Et donc du coup déjà ces deux outils m'ont bien
simplifié la vie contrairement au paradigme d'avant d'administrer les machines comme des
animaux de compagnie et déjà j'ai fait cette transition du point de vue DevOps de les traiter
plus comme du bétail. Et ensuite dans un deuxième temps ça a été la mise en place d'intégration
continue pour le développeur de la continueurisation le fait que le développeur pouvait facilement
soutenir entre plusieurs projets à base de contenu sur sa machine donc en tout cas les
développeurs de ma boîte ont vraiment senti ce changement et la simplicité au niveau de leur
développement. Alors maintenant on va passer au gros du sujet tu m'as dit que tu gérais un gros
agréga Proxmox avec plus de 200 VM en production. Ça tu me l'as dit dans un commentaire YouTube
et j'ai sauté sur l'occasion pour te poser des questions et t'as accepté déjà merci déjà
comment t'es venu l'idée et pourquoi tu t'es lancé là dedans ? Très bien historiquement on
utilisait Xen sur le service physique pour virtualiser et avec un outil développé par Google
il me semble qu'il n'est plus trop d'actualité mais qui s'appelait Ganeti et qui permettait déjà
d'avoir des VM avec des disques flottantes et pouvoir effectuer des live migration entre les
serveurs physiques donc c'était un bon outil mais uniquement ligne de commande et il y avait
enfin il y avait quand même quelques problèmes donc pas d'interface, pas d'API, tout à base de
script et tout c'était pas pérène sur le long terme je trouve et du coup on a cherché un
remplissant en acquérant des nouveaux serveurs et en souhaitant renouveler notre parc de machine
virtuelle et donc j'ai fait un peu de veille et c'est Proxmox qui m'a paru le plus le plus
production ready pour faire ça étant donné que nous on travaille beaucoup en open source par
exemple on n'a pas envie de payer une licence VMware et VMware est très répandue en Nouvelle
et Denis mais nous voilà on voulait rester sur des techno open source ou plus ou moins parce que
même s'il y a des subscriptions et tout on est resté sur la plateforme gratuite et au début donc
on a fait des POC au début sans le côté live migration donc c'était simplement réverger les VM
petit à petit on est parti sur donc passf au début mais d'autres technologies cluster fs notamment
pour pouvoir migrer les VM etc et ça s'est vite retrouvé en production sur deux clusters parce
qu'on avait deux sites différents et qu'on a eu historiquement deux premiers clusters proxmox
donc ça remonte déjà trois versions et ne s'en est comme ça c'est très bien passé franchement
ça fait plus de quatre ans qu'on fait de la production dessus on n'a jamais eu un crash
du proxmox niveau des machines etc donc assez content et donc récemment on a monté encore
des nouveaux clusters pour faire la migration sur des bien 12 et on est toujours satisfait de l'outil
du coup t'as reproduit à ma question suivante je voulais te demander qu'est ce qui t'a poussé
à choisir proxmox mais du coup est ce que tu peux nous parler des autres solutions que t'as écarté
pourquoi tu les a écartés au profit justement de proxmox au final j'ai pas trouvé tant de
solutions que ça si je me trompe pas il y a les zen orchestras qui commençaient à sortir mais ça
m'avait l'air encore jeune je pense que c'était les débuts il y a trois quatre ans et proxmox
avait l'air déjà en place il y avait des forums de grosses criminautés voilà j'ai pas eu le choix
entre plein d'options après on va dire quand on trouve l'outil qui a l'air satisfaisant on continue
pas à chercher longtemps on se lance dessus du coup j'en suis satisfait le genre c'est vrai il ya
xenorchestra on en a parlé sur le podcast il y a aussi open stack mais c'est beaucoup plus gros que
proxmox j'ai l'impression j'avais justement tu me rappelais justement open stack j'avais envisager
cette solution et ça me paraissait un peu complexe à mettre en place pas que j'en étais pas capable
mais contrairement à proxmox qui s'installe en cinq minutes sur dbn on reboute le serveur physique
et hop il est prêt à l'actualiser open stack avait l'air quand même du musin à gaz et donc je
préférais essayer proxmox avant qui m'a satisfait il ya aussi à une époque il y avait open nebula mais
je crois que le projet a peut tomber en des études j'ai l'impression tout cas on entend pas beaucoup
parler proxmox m'a l'air d'être en effet une non l'outil sur un sur un seul serveur en laboratoire
mais ça m'a l'air d'être assez simple d'utilisation et de prise en main et que c'est quand même
d'après temps en retour une bonne une bonne solution même pour de gros agrégats et une grosse
production tu l'as dit vous avez pas pris de support entreprise mais depuis est ce que vous en avez
pris est ce que vous l'avez testé ou est ce que vous êtes clairement sur la version community open
source on est resté entièrement sur la version community parce qu'on a vraiment pas eu besoin
d'assistance toutes les ressources en ligne permettent à régler la plupart des problèmes
qui peuvent survenir honnêtement la seule chose qui pourrait me pousser à payer une licence c'est
pour soutenir proxmox qui fournit donc un outil open source de très bonne qualité mais voilà dans
les budgets de la société qui n'est pas ma société d'ailleurs on ne l'a pas encore fait mais voilà
si je devais payer proxmox ce serait seulement pour les soutenir parce que la version community ne
satisfait pleinement ouais c'est une discussion qu'on a régulièrement et je pense que je vais faire
un live sur le sujet sur la la spay financement de l'open source c'est vrai que nous aussi on
essaye de payer des licences quand on peut auprès des des éditeurs de logiciels parce que c'est
arrivé récemment sur n8n on voulait payer la licence n8n sauf que le ticket d'entrée était à plus
de 6000 euros ou 5000 euros je sais plus c'était beaucoup trop pour l'utilisation qu'on en aurait
donc on est resté sur une version community mais c'est parfois compliqué de pas pouvoir faire
dedans sur ces grosses solutions et tu dis tu dis on mais du coup vous êtes combien à gérer
justement cette production avec proxmox du coup on est dans une petite boîte de 15 employés et on
est donc on a deux trois développeurs au maximum et donc je suis le seul qui a mis en place la
plateforme pour la production et maintenant il y a mon patron qui est très qualifié aussi dans ce
domaine donc on est deux voire trois administrés parce que aujourd'hui on a plusieurs clusters donc
on est deux voilà trois maximum qui peuvent se connecter à administrer le service et tu fais
ça enfin tu fais ça à temps plein ou est-ce que justement tu fais d'autres projets à côté
pour cette société là où ton travail c'est juste de gérer toute la production proxmox
du coup donc mon travail chez SFI c'est vraiment de gérer toutes les machines
physiques les machines virtuelles et le déploiement intégration continue tout ça que les
développeurs puissent travailler dans bonne condition j'ai monté plusieurs clusters kubernetes
pour cette entreprise et donc j'administre aussi ça donc en fait un peu toutes les couches du serveur
physique au vm au cluster de conteneurs parce qu'on héberge plus de 80% de nos applications
à l'intérieur et voilà mais honnêtement ça demande pas ça demande une charge de travail
assez forte pour me mettre en place tout ça mais une fois que ça tourne il ya je sais pas ça doit
me prendre peut-être une journée par semaine de venir régler tous les petits problèmes ça
ça ça passe bien c'est justement pour ça que je me lance aussi à mon compte c'est parce
qu'une fois que la plateforme est en place ça me libère du temps pour aller amener ça pour d'autres
entreprises etc c'est l'investissement au départ apprendre en plus à utiliser la
plateforme qui est long mais après ça tourne tout seul c'est ça c'est un peu ça après quand on a
beaucoup de vm forcément il ya toujours des on a beau essayer d'automatiser le maximum il ya
toujours un disque qu'on n'a pas caché qui va être plein d'avoir les mises à jour à faire
etc mais honnêtement c'est relativement léger à gérer une fois que les choses sont en place
bon alors tu m'as dit que tu gérais justement ton proxbox avec terraforme alors dans ma question
il y en a deux il ya la première c'est est ce que tu utilises terraforme pour justement
installer et configurer proxbox au départ ou est ce que tu utilises terraforme pour gérer tout ce
qui est à l'intérieur du proxbox les réseaux les vm etc donc nos serveurs physiques on les
installe manuellement donc l'installation d'une débienne c'est assez rapide et ensuite on les
relit tous ensemble la solstac donc il ya un serveur qui va être master et tous les autres serveurs
physiques qui vont être mignons de solstac et donc on a des recettes de configuration pour installer
tous les composants de proxbox donc en fait la seule partie long c'est d'installer des biens sur
tous les serveurs physiques et ensuite automatiquement on déploie le cluster proxbox en 5-10 minutes
avec solstac et ensuite du coup une fois que le cluster est up c'est là que terraforme
intervient pour provisioner les vm tout d'abord il ya juste l'installation d'un template ou de
plusieurs templates de vm j'aurais pu utiliser paqueur pour ça à l'époque je l'ai pas fait mais
c'est une bonne option et j'ai vu des gens qui le faisaient avec proxbox ça permet de build
automatiquement le template de relancer le build périodiquement pour avoir une machine à jour
mais sinon ensuite terraforme vient cloner ce template donc on est à 100% sur débian on n'a pas
de besoin de différents os minux et donc du coup on vient cloner ce template et terraforme
clonce template et vient modifier les paramètres de la vm avec cloud init qui arrive derrière
comme ça au démarrage de la vm cloud init vient mettre la bonne adresse IP le os name
la clé ssh pour s'y connecter etc et donc ensuite on a terraforme qui vient installer
le l'agent de solstac directement dans les machines débian et donc notre machine une fois
qu'elle sort de la création avec terraforme elle est déjà prête à recevoir toute sa configuration
donc en moins de 10 minutes notre machine est entièrement prête à recevoir un service
ce soit une base de données ou autre chose oui quand tu parles des templates c'est les images
les images iso que tu vas que tu vas déployer sur t vm c'est ça en fait c'est encore une vm c'est
une vm débian qu'on va ensuite venir cloner donc une bonne pratique comme ça c'est de la
faire la plus petite possible donc moi je suis parti sur 3 gigas de disque ça permet justement
que lorsqu'on clonne cette machine ça soit le plus rapide possible et ensuite le disque vient grossir
lorsque cloud init démarre la machine si on crée une machine avec 50 gigas elle va être clonée à
partir de 3 gigas le disque sera mis à 50 et dans le file système il sera étendu jusqu'à 50 dès
son premier bout ok donc si je résume mon fait de vous utiliser solstac et d'autres pourrais utiliser
en si puisque moi je ne suis pas solstac mais je pourrais utiliser en cible pour gérer tout
proxmox pour gérer les vm qui sont à l'intérieur du proxmox tu utilises terraforme parce que il y a
une API dans proxmox j'imagine et que c'est adapté on parlera après très certain du provider
terraforme et après tu réutilises solstac pour provisioner tes vm ce qui est plutôt classique
en fait c'est ça j'ai bien résumé pour très bien utiliser oui tu as très bien résumé on
pourrait très bien utiliser en cible c'est jusqu'à l'époque en fait aujourd'hui en cible après un
peu le dessus il ya plus de 5 ans c'était pas vraiment le cas il y avait un peu c'était un peu au
même niveau les deux et on est parti sur solstac et j'en suis toujours très satisfait et donc oui
ensuite une fois que nos machines vivent leur vie elles sont donc reliées au master solstac
ça permet par exemple d'avoir un seul point pour gérer toutes les mises à jour des machines
pour pouvoir lancer des commandes à distance sur toutes les machines voilà on a vraiment
se suivi de tout notre parc grâce à solstac du coup pour pour rentrer un peu dans le détail de
terraformes avec proxmox est ce que tu peux nous parler un peu plus du provider est ce qu'il est
simple à utiliser est ce qu'il est facile à trouver est ce qu'il ya tout dessus c'est un petit
peu le point négatif de la plateforme c'est le provider terraformes n'est pas au même niveau que
d'autres providers selon moi par exemple j'utilise les providers vaults les providers pour google cloud
on n'est pas sur le même suivi la même communauté sur ce provider il est géré par une entreprise
sur le lit up qui est open source mais il ya quand même les pages géré par la communauté entre
ils mettent donc par exemple quand on va remonter des bugs ça peut mettre du temps même avant
d'avoir une réponse sur une issue où il est déjà arrivé qu'il y ait des breaking change non
documenté c'est un petit peu le point noir mais après si on se fixe sur une version et qu'on écrit
les bonnes recettes ça fonctionne et ensuite quand on veut monter de version on peut avoir un petit lab
pour faire des tests pour voir si nos recettes vont passer dans cette nouvelle version voilà ça se fait
quand même mais c'est sûr qu'on n'est pas au niveau de certains modules terraformes beaucoup plus abouti
juste pour finir oui il est relativement simple d'utilisation peut-être la critique on pourrait
faire c'est que la définition d'une vm est relativement longue c'est à dire plus d'une centaine de lignes
mais après comme je l'expliquerai peut-être plus tard on automatise la création des fichiers
terraformes donc du coup on ne les écrit pas à la main ça pose moins de problème
et ben justement est ce que ce provider il accepte l'emergerie quest parce que j'ai l'impression
qu'il est un peu le maintenant les matins ils sont ils sont un peu loin est ce qu'il y a des merges
à quoi c'est déjà qui sont proposés ce qui sont acceptés ou est ce qu'il y a eu des des envies de
ben forquer ce provider dans la communauté qui se gérer par la communauté je sais qu'il y a
des marges et quoi ce qui sont acceptés voilà peut-être la critique que je ferai c'est qu'il y a pas
une grosse équipe de développeurs derrière pour veiller au bon fonctionnement du
du provider et par contre j'ai pas vraiment suivi s'il y avait des forques qui étaient prévues
voilà mais c'est vrai que ça serait ça serait une bonne idée
tu m'as dit aussi que t'avais développé une interface web en rails pour justement la création
dvm donc derrière tu te l'as informe comme tu l'as expliqué pourquoi est ce que vous avez ressentis
ce besoin est ce que c'est juste pour que vos clients puissent créer eux même dvm facilement
c'est quoi le but derrière cette certaine interface déjà on n'a pas vraiment de clients qui créent
dvm nous on peut en créer pour des personnes tiers mais nous avons vraiment le contrôle sur on n'est pas
hébergeur de serveurs virtuels par exemple très peu donc du coup c'est vraiment en interne
cet outil et en fait c'est parti de justement de ce provider qui
enfin plutôt de pouvoir avoir une interface web un peu comme un cloud ou en remplissant un formulaire
en cliquant crée derrière notre machine va se créer et qu'on n'est pas donc à ouvrir vim
éditer les recettes terraformes à chaque création de vm à comité à aller en pipeline lancer les
terraformes plan à plage ce que je voulais c'est vraiment avoir un site web où on se connecte
et on a la liste de toutes nos machines avec leurs informations et ensuite on peut créer une nouvelle
machine en deux clics et en remplissant un tout petit formulaire rapide et du coup pour expliquer
un peu techniquement comment je fais ça donc déjà en interne dans ma boîte on utilise un nipam
qui s'appelle net box qui permet de stocker tout dans toutes les informations d'un data center
donc les serveurs physiques les câbles les fibres les switch les routers mais également les vm
les clusters de vm les adressipés les très complets c'est développé par digital océan si je ne
trompe pas et donc on utilise ça et ma volonté c'était donc d'avoir toutes les définitions de
mes machines stockées dans cet outil sauf que de créer une machine dans cet outil qui est une boîte
enfin qui est un outil on va dire de recensement on n'avait pas d'automatisation derrière et aussi
le formulaire était un peu long voilà on n'avait pas juste les informations nécessaires à la vm il y
avait trop de choses à remplir du coup j'ai utilisé l'apireste de cet outil et je me suis interfacé
dessus avec un outil en Ruby and write qui présente donc la liste des machines pour mes différents
clusters donc ce qui est bien c'est que ce cet outil est multicluster donc là actuellement on a
trois clusters proxmox avec un peu plus de 200 vm et donc j'ai une vue de mes trois clusters en
même temps et je peux déclencher la création de vm dans le cluster que je veux en remplissant
un petit formulaire et comment ça se passe derrière donc on valide ce formulaire ça va
faire un appel à pays vers net box et remplir créer la vm dans net box et ensuite ça va venir
lancer un job piton qui va donc récupérer toutes les informations de toutes les vm et écrire du code
terraform à partir de ces infos ça va comiter automatiquement une fois qu'il y a une modification
et donc quand je crée ma vm dans ce formulaire ensuite je peux aller directement dans kitlab ci
voir le plan terraform de la création de mes plusieurs vm parce qu'on peut créer plusieurs vm
en même temps c'est l'avantage et donc après j'ai juste à clier à cliquer sur apply et mes 3 4 5
vm se créer en même temps et se relient toute seule à solstack et reçoivent leur configuration
donc les ssh time zone paquée par défaut etc donc en fait en remplissant un formulaire en 5 10
minutes après je peux je peux avoir mes plusieurs vm qui sont déjà prêtes à être utilisé et ça
permet aussi donc de lister toutes ces machines on a aussi une vue détaillée par machine qui
va faire un lien avec l'outil de monitoring net data donc avec des graphes cpu réseau mémoire
voilà donc j'ai développé à petite échelle mon propre petit cloud pour notre entreprise
et c'est open source sur kitlab.com mais j'ai pas eu le temps de faire documentation et de le rendre
on va dire utilisable par tous les clusters proxmox d'accord c'est le code et open source mais c'est
encore un peu interne à notre entreprise mais il y aurait peut-être du travail à faire en
et ben écoute je te demanderais le lien dans notre conversation privée je le mettrai dans la note
de l'épisode et peut-être qu'il y aura des contributeurs et contributrices qui sait
ça serait certain je le souhaite en tout cas alors on va parler un peu un peu en détail du
cluster proxmox techniquement comment ça se passe vous avez combien de serveurs physique parce que
je comprends que vous avez des serveurs physiques non chacun gréga est ce que vous limitez le
serveur physique dans chaque agréga est ce que c'est les vôtres est ce que vous les prenez dans un
data center spécifique comment ça se passe au niveau à frais structure
très bien donc ces deux dernières années on a construit notre propre data center à côté de
nos bureaux parce qu'historiquement on était dans des data centers un peu hybrides c'est à dire
des b dans un local commercial avec des clims là on a construit un vrai data center pour
pour notre société et du coup on a en même temps renouvelé tous nos serveurs et donc on a pu monter
là je vais te parler des nouveaux clusters donc on a aujourd'hui deux clusters proxmox
un avec 8 serveurs physiques de génération récente d'elle et un autre avec 6 et on a quelques serveurs
en sphère au cas où qu'il y ait des problèmes sur le châssis et donc c'est des serveurs relativement
puissants avec 64 cpu plusieurs centaines de gigadrans et du coup on a ces deux clusters qui
permettent donc de redonder nos services donc par exemple les reverses proxy vont être sur
chacun des clusters les DNS parce qu'on a des DNS autoritaires des DNS récursives
pour tous nos clients et donc du coup on redonde pas mal entre deux clusters physiques
de deux clusters proxmox qui sont dans deux zones différentes
et voilà donc sur ces nouveaux clusters on a utilisé sef qui est intégré à proxmox et
honnêtement sef c'est une technologie relativement compliquée à mettre en place je dirais que c'est
un petit peu comme open stacks et voilà des gens c'est leur travail ils administrent des clusters
sef dans proxmox c'est vraiment très bien intégré et en lisant un peu de documentation on se retrouve
donc avec un cluster sef fonctionnel et préaffaire de la production et donc ensuite nos VMs peuvent
avoir accès à ce storage et peuvent basculer de serveurs physiques en serveurs physiques
sans leur mandat interruption et donc pour ça on a dédié des SSD on a dédié 4 SSD par serveurs
physiques pour le cluster sef donc on a à peu près 6 teraïs de stockage redondé
avec sef pour nos VMs on met pas toutes les VMs à l'intérieur parce que on juge que c'est seulement
les VMs qui ne sont pas redondés par exemple notre serveur GitLab il va être dans sef mais
par contre des reverses proxy où on va avoir 4 ou 5 reverses proxy là on les met en LVM local
parce que si on perd en reverses proxy il n'y a aucun problème les autres prennent le relais grâce
à bgp donc voilà pour la partie disk et stockage et voilà on fait du donding aussi pour ce oui
je disais ton reverses proxy en plus son configuration est géré par du code j'imagine
donc si tu le perd c'est pas grave parce qu'il n'y a pas de données vraiment métier à garder
c'est ça la plupart de nos machines que ce soit DNS, reverses proxy, tout vient du gestionnaire de
configuration donc les VMs sont un peu jetables il va que y avoir par exemple des clusters de MariaDB,
SQL ça bien sûr les données sont importantes mais les backups sont centralisés ailleurs mais
c'est voilà les VMs qui ne sont pas sur des storage redondés sont d'autres VM jetables que si
il y a un problème on peut la supprimer et recréer assez facilement. Ok jetavou moi je me suis jamais
lancé dans sef parce que ça me faisait un peu peur tu confiens un peu mes peurs du coup ça t'a pris
combien de temps à le prendre même si c'est si j'ai compris que c'était bien intégré maintenant
aujourd'hui à Proxmox t'as quand même dû lire quelques docs comme tu l'as dit est-ce que ça t'a
pris du temps à comprendre au moins comment ça fonctionnait sef et c'est quoi finalement les intérêts
de sef est-ce que tu peux en parler un peu pour les auditrices et auditeurs qui connaîtraient pas le
démystifier un petit peu en quelques mots. Très bien en plus là je me lance dans monter des clusters
sefs au sein d'un cluster Kubernetes pour monter des volumes avec rook.io ROOC, qui est une très bonne
technologie aussi donc je commence à avoir un peu d'expertise là dessus mais comme je disais
c'est très compliqué donc je suis loin d'être un expert mais donc on a plusieurs composants dans un
cluster on va avoir des managers des monitors qui vont être présents donc un peu sur tous les
serveurs physiques et ensuite les disques qu'on va donner on peut pas donner une partition ou un LVM
à sefs on lui donne un disque physique ça s'appelle un OSD et donc c'est ça qu'on a mis plusieurs
SSD par serveur pour les donner en tant qu'OSD à sefs et donc sefs ensuite on va lui créer donc un
volume partagé j'ai plus le terme mais au sein du cluster sefs et on va choisir le niveau de réplication
de nos données donc on me semble qu'on est parti sur 3 ça veut dire que 1 giga de données va être
répliqué trois fois au sein du cluster il va découper tout ce storage en il appelle ça des
pg donc ça va être des petites unités de ce volume de 1 giga qui va être répliqué trois fois et
donc il va répartir ces pg sur tous les disques du cluster et donc en cas de panne d'un serveur physique
par exemple avec quatre OSD il reste disons 12 OSD il va se rendre compte qu'il a perdu une centaine
de pg mais qui sont répliqués ailleurs et donc sa réplication va être dégradée et si le serveur ne
revient pas rapidement il va redupliquer ses données pour se réconcilier et arriver à son niveau
de réplication qu'on a demandé par exemple et donc il y a ce moment où lorsqu'on perd une machine
et des disques sefs se met à travailler via le réseau du coup parce que tout passe par le réseau et
il va se réconcilier ses petites unités pour remettre son niveau de réplication et le seul gros
problème qui peut arriver c'est si on perd un nom supérieur de serveur que sefs peut tolérer et là
on peut affecter on peut avoir des pertes de données si on perd les serveurs sur lesquels nos trois
réplications sont ben il ne peut pas créer nos données d'accord il perd jusqu'à que on remonte
les disques on remonte le serveur et donc si par exemple sur un cluster de 8 serveurs proxmox on
en perd deux il n'y a pas de problème si on en perd cinq là c'est sûr que les machines qui vont
être dans ce storage partagé risquent d'avoir de gros problèmes tant qu'on n'a pas remonté les
serveurs physiques par exemple même si le serveur physique est éteint pendant même une journée
quand on remonte ensuite sefs va récupérer les données remontées et tout j'ai je touche du bois
je n'ai jamais eu de gros plantages de sefs on a eu quelques problématiques je peux te raconter
mais en tout cas au niveau de données ça fait le travail et ça une fois qu'on a eu des pannes
et tout on remonte le serveur les données se resynchronisent et ça remonte du coup pour t'expliquer
la petite problématique qu'on a eu c'est que sefs préconisent d'avoir un réseau en 10 gigabits
entre les serveurs dédiés à sefs d'accord donc ça c'est la préconisation de production ça
voudrait dire si on voulait stocker des grandes quantités de données des terra à l'intérieur de sefs
c'est mieux d'avoir ça parce que du coup on l'a appris à notre détriment parce que nous on a
fait un bonding de 2 gigas en mettant et l'administration de proxmox sf sur ces 2 gigas donc sur le
papier ça fonctionnait très bien même en début de production et juste pour expliquer on a notre
bonding de 2 gigas uniquement pour les vn c'est comme ça qu'on utilise nos quatre ports de 1 gigas
sur le serveur et la problématique qu'on a eu c'est que lorsqu'il y a eu un crash sur un serveur
sefs se met donc à utiliser le réseau de ces 2 gigas à fond pour resynchroniser les données
et proxmox comme il est en mode haute disponibilité il a une notion de courant et s'il n'arrive plus à
pinger ses voisins il va rebouter tout seul le serveur et en fait on a eu des problèmes de
cluster proxmox qui redémarre en pleine journée de production ça c'est un peu les seuls problèmes
qu'on a eu avec proxmox mais qui sont relativement embêtants et on a résolu ce problème il y a
6 mois à peu près en déportant en fait ce système de courant ce n'est plus la technologie en
tête je voudrais pas dire n'importe quoi mais en fait elle utilisait seulement sa interface et on
peut lui donner également d'autres interfaces donc en fait maintenant on a ce courant qui se
ping sur les deux premières interfaces mais également sur les deux autres dvm donc en fait
si sefs vient prendre trop de réseau ça va plus rebouter parce que proxmox va quand même arriver
à se pinger via les interfaces dvm mais voilà ça s'appelle core au sync je vous me souviens
en fait en modifiant un peu la configuration par défaut de core au sync on a réussi à régler
ce problème qui était quand même majeur parce que sur plusieurs années on a eu quand même quelques
rebouttes de tout le cluster à des moments aléatoires donc voilà un peu mon expérience avec
sefs et avec les seuls problèmes qu'on a eu avec proxmox mais c'était pas vraiment ça faute si
on veut le dédouaner c'est que on brinait sur les interfaces réseaux oui ça fait ça fait
transpirer les ops ce genre de trucs donc si j'ai bien suivi parce que c'est parti de mes questions
c'est pour être performant finalement sefs il a besoin d'avoir sa propre carte de réseau
dédié qui ne sert qu'à lui et tu me l'as dit les préconisations c'est 10 gigabits donc c'est pas
non plus à la portée tout le monde ça veut dire que ton cerveau est de la plusieurs cartes réseaux
et que tu dois en dédié une pour sefs mais dans votre cas est-ce que justement sur vos 2 gigabits
qui étaient partagés à part ce problème là est-ce que tu as vu des problèmes de performance
ou est-ce que c'est assez performant justement par rapport à bon ce sera jamais aussi performant
qu'un ssd sur la machine mais est-ce que c'est bien bien performant ou est-ce que vous avez quand
t'en as un réseau sur les petits actions disques j'aurais pas de chiffres de performance à te donner
par contre j'ai des comparatifs entre nfs cluster fs et sefs et sefs est largement au dessus
cluster fs c'est le premier qu'on a utilisé là on avait vraiment des vm qui qui étaient lente
par exemple on a déjà mis des serveurs SQL dans cluster fs dès qu'il y avait trop de données ça
s'est mal passé avec tous les petits binaire etc et nfs on a donc des nas qui peuvent fournir
des disques à proxmox enfin du storage nfs et là aussi les performances sont pas super et avec
sefs là on se retrouve donc on n'est pas au même niveau qu'un ssd local mais étant donné que
les données sont quand même on va pas chercher les données loin dans le réseau les données sont en
partie sur la machine directement on a des performances relativement acceptables pour mettre
par exemple mon serveur git lab qui stock tout et là dessus et ça fonctionne très bien maternost
aussi pourtant la base de données maternoste elle consomme pour tous les utilisateurs ça
fonctionne très bien je sens trop m'avancer je selon moi c'est la technologie de storage réseau
la plus aboutie et la plus performante oui alors on parlait d'outils propriétaires ensuite que
je ne connais pas non en effet alors j'allais dire à notre auditrice et auditeurs si ça t'intéresse
c'est du stockage assez lg ou de l'interne à c'est du stockage distribué voilà c'est pour ça
que c'est justement tant par là justement avec roux poyo et entre un je j'ai l'impression de manger
petit à petit beaucoup de part de marché sur sur ces problématiques de stockage dès qu'on
fait la haute dispose et du distribuer c'est toujours compliqué et encore plus dans coubernetis et
moi j'ai fait du nfs dans coubernetis et je sais à quel point c'est en effet un peu long
mine de rien du coup ça m'encourage à regarder et côté cèfle et du coup c'est je me rappelle
que c'était la question que j'avais posé dans le podcast auquel t'as répondu et du coup je vais te
reposer parce que c'est toujours bien de répéter les choses quand on fait un agréga comme ça
proxmox l'idée est pour moi en tout cas mon côté écologique c'est d'utiliser toutes les ressources
de la des serveurs physiques donc ce soit le cpu la rame et le disque dur de la machine pour justement
avoir une sorte de poule comme ça et tu t'as plu à gérer en fait des petites machines que tu
ajoutes tu tu gères un poule et l'idée avec proxmox et csef tu confirme que c'est de faire ce qu'on
appelle de l'hyperconvergence c'est à dire comme si t'avais imagé un mais comme si t'avais un gros
serveur avec plein de rames plein de cpu et plein de disques et tu peux puiser dedans pour créer tvm
n'ayant jamais utilisé vmware je ne pourrais pas comparer parce que justement les choses de
hyperconvergence sont souvent portées par vmware moi je t'explique ce que j'ai compris dans proxmox
quand on a nos 8 serveurs physiques on voit les informations globales du cluster par exemple
j'ai 2 terra de rames etc mais par contre les vm présents sur un serveur physique consomment
les données que de ce les ressources que de ce serveur physique d'accord si je peux pas avoir une
vm avec 64 giga de rames si le serveur en a 32 voilà je sais pas si vmware propose en gros de voilà de
faire un vrai pool là on a quand même cette notion de tel vm et sur tel serveur elle peut basculer
d'un à l'autre sans problème mais on peut surcharger un serveur si on ne distribue pas
correctement les vm c'est peut-être la limitation de proxmox c'est que il y a quand même ce
placement sur serveur physique à prendre en compte ouais mais l'idée quand on a des petites et
grosses vm c'est justement de charger des serveurs et et tu peux utiliser finalement une grande partie
de ton cpu de ta rame et tes disques et ne pas en laisser de côté et ne pas gaspiller du coup des
ressources c'était plus ça mon idée notamment avec parce que c'est souvent le disque en fait qui
est gaspillé parce que autant la rame et la cpu tu vois tu peux faire transiter tes vm d'un serveur
à l'autre et puis t'as des petites et des grosses vm qui permettent de les remplir mais le disque c'est
toujours un problème et j'ai l'impression qu'avec ce que tu nous expliquais dans cef le fait que ce soit
bien distribué ça pose plus ce genre de soucis oui sur la partie storage là on a cette hyper
convergence c'est à dire que nous on a du storage minimaliste sur les serveurs physique je parle
peut-être de 300 gigas donc du lvm classique et ensuite on donne le plus de disques possibles à
cef pour avoir ce storage partagé et là du coup tous les serveurs physique ont accès à ce
storage peuvent accepter dvm qu'on se storage etc donc là on a cette convergence au niveau du
storage uniquement merci tout à l'heure t'as parlé d'un tu as parlé d'un truc alors je voulais
réagir mais je voulais pas t'interrompre t'as parlé de spair pour les gens qui ont pas l'habitude
notamment moi parce que j'ai déjà entendu ça mais je connais pas la définition de spair est-ce
que tu peux définir ce qu'est une machine spair je crois que c'est ce que t'as utilisé et à quoi ça sert
en fait je suis pas expert là dessus mais je crois qu'il ya deux types de spair il ya le colt
spair et all spair hot spair nous c'est on a des serveurs physique dans nos bureaux qu'ils ont neuf
installés et prêt à venir remplacer un serveur physique c'est à dire si on a des cpu et tout
qui se mettent à cracher sur un serveur ou toute la stack réseau qui ne fonctionne plus on va
récupérer les disques les mettre dans ce serveur physique venir le raquer et en l'allumant il va
prendre le relais comme s'il était le serveur d'avant c'est ça comme spair qu'on fait et je pense
que les hot spair c'est des serveurs physiques qui sont déjà raqués en data center et qui sont
prêts à prendre le relais le plus vite possible nous on a quand même une intervention banuelle pour
venir mais c'est sûr c'est quand même confortable d'avoir donc on a un cluster proxmox de 8 si un
jour il est bien rempli et qu'on ne peut pas se permettre d'en perdre un c'est vraiment bien d'avoir
des serveurs neufs prêts à prendre le relais en cas de problème en une demi heure maximum
cool en tout cas c'est ça promet je pense que je vais faire écouter cet épisode de podcast à
mon associé parce que on s'intéresse beaucoup à proxmox si on se demande si ça peut pas être
une de nos solutions pour pour l'avenir alors tu nous l'as dit t'as créé une société qui s'appelle
ops.c est-ce que tu es seul dans cette société ou est-ce que ou est-ce que vous êtes plusieurs et
quel type de service tu vas proposer ce que tu vas proposer justement cette expertise proxmox ou
d'autres choses donc ça fait déjà quelques années que je fais des formations pour la
fonction publique ou des boîtes privées ou des prestations également chez par exemple l'un des
plus grosses boîtes de développement en nouvelle année et demi et je trouvais enfin j'avais envie
de faire ça à mon compte donc c'est pour ça que j'ai monté cette société pour l'instant je suis
tout seul et j'arrive vite à la limite de mon temps parce que on peut pas se dupliquer donc il
y a pas mal de demandes sur le sujet pour te donner une idée en nouvelle année il y a beaucoup de
boîtes de développement web communication etc beaucoup de sociétés qui qui écrivent du
code mais peu de gens pourra administrer donc souvent ils vont recruter en interne mais il y a
des 6 admins qualifiés ici donc d'ailleurs si des gens veulent venir sous les cocotiers et font
ce sont des bons administrateurs il y a beaucoup de postes pour voir ici donc je recruterai sûrement
dans le futur pour pouvoir me développer mais pour l'instant voilà c'est vraiment pour moi et ce
que je propose donc là bah par exemple Proxmox je vais commencer une prestation chez un des plus
gros hébergeurs de datacenter en nouvelle année qui est sur vmware actuellement et qui va avoir des
serveurs décommissionnés pour lesquels il trouverait légitime de ne pas prendre de mises en
c'est de passer sur Proxmox donc du coup je vais venir apporter mon expertise là dessus et sinon
je suis je fais des prestations pour monter et administrer des clusters kubernetes que ça
soit en local ou sur le cloud là récemment j'ai mis plusieurs clusters pour cette boîte de
développement sur google cloud en australie donc c'est le datacenter le plus proche de nous chez
google voilà également de l'intégration continue surtout dans les boîtes de développement
ou dans la fonction publique le gouvernement de la nouvelle calédonie également donc des
formations sur linux kubernetes et bah écoute tu me fais une transition parfaite pour parler de
mon job board parce que je sais vrai que je sais que quelques mois que j'ai lancé mon job board
si tu veux recruter tu pourras aller sur mon job board et tu pourras toucher une partie des gens qui
sont intéressés par le devops et puis passez toi même quand t'écoutes ce podcast tu cherches un job
tu peux passer par mon job board le lien de toute façon il est dans les descriptions de tous les
podcasts alors je vais te poser la question traditionnelle que je pose à la fin de tous mes
intervio est-ce que justement tu as un livre un article une conférence ou une ressource à conseiller
justement à nos auditrices et auditeurs donc pour le livre je vais rester sur un livre qui
m'a pas mal aidé informer c'est le linux bible la bible de linux qui est donc en anglais mais qui
est un pavé comme ça je les cherchais avant le podcast je l'ai pas retrouvé mais vraiment
un livre très complet sur tout l'univers linux du noyau réseau stockage franchement en lisant
ce livre les compétences augmentent énormément et ensuite les conférences à l'époque où je
me formais sur kubernetes c'est calzé aito world chez google qui faisait des conférences assez
sympa notamment quand il disait ok google scale mon application à 50 containers et puis hop ses
containers se scale et je trouvais que ça avait la classe et bah écoute si t'as le lien de cette
conférence je veux bien que tu me la donnes pareil en message privé comme ça je pourrais la je
pourrais la mettre dans les notes de l'émission et si ben justement on veut retrouver sur les réseaux
où est ce qu'on retrouve le mieux ça serait twitter donc c'est valentin underscore ops op s
voilà et ben merci valentin je me prêve je me permettrai de mettre aussi ton lien de ton site
et puis si tu veux bien le lien de ton ligne que dînes sauf si tu veux pas je le supprimerais
moi il n'y a pas de soucis avec plaisir comme ça on pourra te contacter écoute valentin merci pour
pour cette interview c'était super intéressant j'ai pris plein de trucs je suis sûr que notre
auditeur et notre auditrice aussi et je vais te laisser le mot de la fin pour conclure
je te remercie christophe de m'avoir reçu sur ton podcast qui est de très bonne qualité c'est un
plaisir d'écouter vos émissions avec tous tes intervenants et je voudrais remercier mon amie samy
qui m'a fait découvrir ton podcast et qui va sûrement écouter celui là voilà et c'est tout
et j'espère qu'il y aura plein d'autres émissions intéressantes et ben merci à samy de partager
le podcast c'est comme ça quand des faits on découvre le podcast merci d'avoir écouté radio
des vops n'oublie pas de nos télépizodes plus la note sera élevée et plus sera mis en avant
dans les applications tu peux aussi le partager ça nous aidera à le diffuser et à rendre le mouvement
plus visible si tu as envie de discuter du mouvement alors rejoins nous dans la communauté des
compagnons du dévox à bientôt la balade au diffusion des compagnons du dévox et produit par l'hydra