Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
2190 connectés 

 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

ESX & HyperThreading

n°179166
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 12-10-2023 à 15:24:03  profilanswer
 

Salut,
 
On a des serveurs, avec 96 logical processors, donc 48-reel et 48 Hyperthreadé.
j'aurais aimé savoir comment s'en sort ESX avec l'HT ?
peut ont distribuer les 96 cores de manière aveugle ou il vaut mieux compter que sur les cores réél ?
 
y a t il de la documentation/recommendation officiel?
 
 
Nos VMs qui tournent dessus ont actuellement 16 V-cores et elle montent souvent à 80% de charge, on est en etude de les passer à 20 cores, voir 24 (mais la on atteindra la limite des cores physique)
 
Merci


Message édité par Z_cool le 12-10-2023 à 15:35:08

---------------
#mais-chut
mood
Publicité
Posté le 12-10-2023 à 15:24:03  profilanswer
 

n°179169
Je@nb
Modérateur
Kindly give dime
Posté le 12-10-2023 à 16:55:36  profilanswer
 

L'hyperviseur gère ça tout seul.
https://docs.vmware.com/en/VMware-v [...] DF2A1.html
et tu peux activer aussi le vHT si besoin et si l'appli le comprend https://docs.vmware.com/en/VMware-v [...] D37CA.html

n°179177
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 13-10-2023 à 12:17:09  profilanswer
 

oui, mais concrètement, est ce que je peux distribuer 96 cores?
ou il vaut mieux que je me limite a 48 pour être sur des performances?
 
sur le dashboard, les 48 cores reel appraisement en jaune déjà
https://rehost.diberie.com/Picture/Get/f/216270


---------------
#mais-chut
n°179179
ShonGail
En phase de calmitude ...
Posté le 13-10-2023 à 12:31:24  profilanswer
 

Attention à l'attribution d'un grand nombre de vCPU aux VMs, cela peut être contre productif niveau performance.
Il faut monitorer le costop et le CPU Ready.
 
Sinon, oui tu peux distribuer les 96. Tu peux même en distribuer plus. L'overprovisionning est possible si maitrisé.

n°179180
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 13-10-2023 à 12:36:52  profilanswer
 

ShonGail a écrit :

Attention à l'attribution d'un grand nombre de vCPU aux VMs, cela peut être contre productif niveau performance.
Il faut monitorer le costop et le CPU Ready.
 
Sinon, oui tu peux distribuer les 96. Tu peux même en distribuer plus. L'overprovisionning est possible si maitrisé.


 
 
oui, on a été mis au courant par le développeur du soft que les perfs ne se scalent pas avec les cores passé un certain niveau.
actuellement, on fait tourner 3-4VM avec 16cores chacune et elles tournent a 80% CPU pendant de nombreuse heures


---------------
#mais-chut
n°179181
ShonGail
En phase de calmitude ...
Posté le 13-10-2023 à 12:42:47  profilanswer
 

Z_cool a écrit :


 
 
oui, on a été mis au courant par le développeur du soft que les perfs ne se scalent pas avec les cores passé un certain niveau.
actuellement, on fait tourner 3-4VM avec 16cores chacune et elles tournent a 80% CPU pendant de nombreuse heures


 
C'est même pas passé un certain niveau, c'est dès que tu dépasses un vCPU par VM.
Après augmenter le nombre de vCPU n'a un intérêt que si les process sont multithread ou lancés en nombre.

n°179182
nebulios
Posté le 13-10-2023 à 12:49:41  profilanswer
 

+1, 16 cœurs par VM c'est inadapté dans 99,9999999% des cas.
Si elles sont au taquet côté CPU il faut commencer par investiguer sérieusement sur les causes. On ne gère pas des VM comme on gère des machines physiques.

n°179183
Je@nb
Modérateur
Kindly give dime
Posté le 13-10-2023 à 13:21:08  profilanswer
 

Z_cool a écrit :


 
 
oui, on a été mis au courant par le développeur du soft que les perfs ne se scalent pas avec les cores passé un certain niveau.
actuellement, on fait tourner 3-4VM avec 16cores chacune et elles tournent a 80% CPU pendant de nombreuse heures


C'est pas ce dont te parle Shongail.
Si tu as une VM avec 16 coeurs, ESXi doit attendre qu'il y ait les 16 cores disponibles pour les affecter à la VM pdt xx (milli)secondes.
Donc plus tu mets de cores à une VM plus ESXi va galérer à trouver les cores et va donc devoir attendre que les cores soient dispo.
Donc souvent il vaut mieux par exemple mettre 8 cores qui seront dispos tout le temps que 16 cores où ESXi va attendre et galérer.
Et qd tu le sais pas c'est le piège parce que du coup tu te dis putain ma VM a 16 cores elle est au taquet donc allez j'en met 24 sauf que c'est encore pire.
 
donc comme l'a précisé, il faut regarder les métriques d'attente de CPU voir si tu rentres en conflit ou pas.
(en espérant avoir été clair)

n°179187
dims
if it ain't brocken, mod it !
Posté le 13-10-2023 à 15:48:37  profilanswer
 

Z_cool a écrit :


actuellement, on fait tourner 3-4VM avec 16cores chacune et elles tournent a 80% CPU pendant de nombreuse heures


 
quelle version d'ESX ?  
en 6.X j'ai eu des problèmes avec l'HT justement
 
j'ai réussi à m'en sortir en jouant sur l'affinité des VM sur les CPU, en forçant l'affinité pour utiliser 8 core + 8HT au lieu de le laisser se débrouiller (auquel cas, il utilise les core avant l'HT)
+ mode HT internal sur la VM
quelques explications ici: https://communities.vmware.com/t5/E [...] -p/2701458
 
mais c'est franchement crade !!! (surtout dans ton cas ou tu vas être obligé de mettre l'affinité a toutes les VM)
(moi c'était une grosse VM et plein de petites à coté)

n°179205
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 16-10-2023 à 19:19:27  profilanswer
 

oula,....
 
beaucoup d'explications, je suis pas sur de bien comprendre. j'essaye de digérer tout ça demain et vous apporte plus d'element pour m'aider.
 
en attendant, merci

mood
Publicité
Posté le 16-10-2023 à 19:19:27  profilanswer
 

n°179206
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 16-10-2023 à 19:21:10  profilanswer
 

nebulios a écrit :

+1, 16 cœurs par VM c'est inadapté dans 99,9999999% des cas.
Si elles sont au taquet côté CPU il faut commencer par investiguer sérieusement sur les causes. On ne gère pas des VM comme on gère des machines physiques.


ce sont des proxy HTTP, donc ils traitement des millions de requêtes/secondes

 


dims a écrit :

 

quelle version d'ESX ?


7.0.3

Message cité 1 fois
Message édité par Z_cool le 16-10-2023 à 19:25:55

---------------
#mais-chut
n°179207
Je@nb
Modérateur
Kindly give dime
Posté le 16-10-2023 à 19:59:20  profilanswer
 

Je multiplierai le nb de VM plutôt que d'augmenter les CPU perso.
Et voir pour utiliser un proxy qui fait du DPDK pour bypasser au max le CPU pour le dataplane (si matos compatible of course)

Message cité 1 fois
Message édité par Je@nb le 16-10-2023 à 19:59:31
n°179208
nebulios
Posté le 16-10-2023 à 20:04:12  profilanswer
 

Z_cool a écrit :


ce sont des proxy HTTP, donc ils traitement des millions de requêtes/secondes
 
 


Augmente le nombre de VM, le nombre d'hyperviseurs, le nombre de CPU de chaque hyperviseur, ou un mix de tout ça. Mais augmenter le nombre de vCPU c'est la plus mauvaise option dans l'immense majorité des cas.

n°179209
nebulios
Posté le 16-10-2023 à 20:12:12  profilanswer
 

Et mets à jour ESXi/vCenter/VMWare Tools aussi.

n°179210
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 16-10-2023 à 22:46:02  profilanswer
 

Je@nb a écrit :

Je multiplierai le nb de VM plutôt que d'augmenter les CPU perso.


oui c'est ce qu'on fait, mais en Décembre dernier on était sur 8 Appliances physique.
maintenant on est a 14 VM

Citation :

Et voir pour utiliser un proxy qui fait du DPDK pour bypasser au max le CPU pour le dataplane (si matos compatible of course)

 

la on est pas libre du produit pour Proxy, puis on fait plein de traitement sur les requêtes, donc ca passent par le CPU obligatoirement

 

Mais le développeur du proxy est en phase de rachat de VMWare, si il y a des optimisations, ils pourront toucher le code source directement


Message édité par Z_cool le 16-10-2023 à 23:00:58

---------------
#mais-chut
n°179218
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 17-10-2023 à 14:39:29  profilanswer
 

j'ai un peut de mal avec le concept de CPU ready, ...
si je vous montre ca :  
https://rehost.diberie.com/Picture/Get/f/217291
 
ca vous semble normal / pourri / parfait?


---------------
#mais-chut
n°179220
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 17-10-2023 à 15:08:23  profilanswer
 

bon, d'apres google c'est pas bon du tout :
https://rehost.diberie.com/Picture/Get/f/217296
 
 
après demande a un colleague, lui a résolut ce genre de soucis en affectant manuellement les CPU au VMs


---------------
#mais-chut
n°179221
Je@nb
Modérateur
Kindly give dime
Posté le 17-10-2023 à 15:36:27  profilanswer
 

Ca veut dire que tes VM attendent plusieurs secondes pour avoir un CPU, autant te dire que c'est pas du tout bon :D

n°179222
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 17-10-2023 à 15:46:24  profilanswer
 

le collègue me recommande de configurer nos VM de tel façon:
pour 16 V-cores@3Ghz :
https://rehost.diberie.com/Picture/Get/f/217309

 

il me dit qu'avec ca, VMWare ne va plus chercher sur quel core distribuer la charge est que ca devrait résoudre le problème

 


(sachant qu'on a largement plus de cores physique que de cores virtuel que l'on veut distribuer)


Message édité par Z_cool le 17-10-2023 à 15:50:44

---------------
#mais-chut
n°179224
nebulios
Posté le 17-10-2023 à 16:14:15  profilanswer
 

Lis nos posts avant de faire des trucs un peu au pif.

n°179228
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 17-10-2023 à 20:02:59  profilanswer
 

ba je pense avoir bien lu vos posts. je vois pas trop quel partie j'aurai zappé?

 

j'ai abandonné l'idée qu'augmenter le nombre de V-Core sera la solution
le fait que 16 cores c'est déjà trop ? ca je pense que ce soit le cas, avant de passer en virtuel, on avait des Appliances sans visualisation et elles étaient ras la gueule avec 16 cores également

 

ESXi est déjà dans l'une des dernière version, et va être patché dans les jours qui arrivent.

 

installer les VMTools n'est pas une option, les VM sont des Appliances auquel ont a pas accès a l'OS et de toute façon, il n'existe pas de VMTools.
augmenter le nombre de nodes du cluster ESX ? on a deja 8 serveurs, chacun avec 96 cores.

 

et les VM rapportent des charge a 80%.

 


non, j'ai bonne espoir que ce CPU-ready soit la cause de nos soucis. Si ESX passe 3-7 secondes a affecter un core, c'est une grosse perte de performance


Message édité par Z_cool le 17-10-2023 à 20:13:42

---------------
#mais-chut
n°179229
dims
if it ain't brocken, mod it !
Posté le 17-10-2023 à 20:31:23  profilanswer
 

il me semble que le CPU ready est compté comme temps noyeau, donc fait augmenter la charge des VM (les autres confirmeront, j'ai un doute)
 
si c'est le cas, baisse le nombre de vcore, ça baissera la cpu ready, mais ne fera pas augmenter la charge CPU dans les VM

n°179233
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 18-10-2023 à 08:03:59  profilanswer
 

dims a écrit :

il me semble que le CPU ready est compté comme temps noyeau, donc fait augmenter la charge des VM (les autres confirmeront, j'ai un doute)
 
si c'est le cas, baisse le nombre de vcore, ça baissera la cpu ready, mais ne fera pas augmenter la charge CPU dans les VM


euhhh la, ca bug dans mon cervo: si je réduit le nombre de V-Core par appliance (qui me rapportent être haute en CPU) ca devrait améliorer les choses?


---------------
#mais-chut
n°179234
nebulios
Posté le 18-10-2023 à 08:52:38  profilanswer
 

C'est ce qu'on te dit depuis le début.

n°179240
Z_cool
HFR profile rating:⭐⭐⭐⭐
Posté le 18-10-2023 à 13:01:00  profilanswer
 

non, ca bug trop dans mon cervo :
 
j'avais des 8 machines physique avec 16 cores qui tournaient a 70-80% CPU
j'ai maintenant 14 VMs avec 16 cores qui tournent a 60-80% CPU
(certes, on a aussi plus de traffic)
 
et je devrais réduire le nombre de core par VM pour que cela aille mieux ?


---------------
#mais-chut
n°179241
slywalker
Posté le 18-10-2023 à 13:13:26  profilanswer
 

c'est ça.
 
Tes machines actuellement attendent de la CPU de libre, en réduisant le nombre de CPU, tu réduis l'attente.
 
Pour imager : vaut mieux 14 machines à 99% mais qui ne sont jamais en attente de CPU que 8 machines à 60% mais qui sont toujours en attente.


Message édité par slywalker le 18-10-2023 à 13:13:54
n°179242
nebulios
Posté le 18-10-2023 à 13:31:21  profilanswer
 

Demandez aussi une formation ou un recrutement sur la partie virtu, ça vous permettra de reprendre la conf de vos plates-formes VMWare par le bon bout.

n°179243
Je@nb
Modérateur
Kindly give dime
Posté le 18-10-2023 à 13:41:56  profilanswer
 

Fais appel au support vmware sinon. Ou invoqué Vini sur ce topic, il bossait au support vmware si je dis pas de conneries.

n°179244
dims
if it ain't brocken, mod it !
Posté le 18-10-2023 à 14:02:43  profilanswer
 

exact !

mood
Publicité
Posté le   profilanswer
 


Aller à :
Ajouter une réponse
 

Sujets relatifs
OS VMWare ESX 6.0 sur clé USBVMWare ESX - Impossible d'installer les agents HA
[débutant] importer VM sur serveur ESX via Vsphere.[Débutant] utiliser VM serveur ESX comme routeur.
iSCSI ESX 6.5ESX avec VLAN et iSCSI
Problème perfomance EsxISCSI entre 2 ESX
Cacti - Template ESX 6.0Shinken - Projet d'alternance terminé - tentative d'ajout d'hôte ESX
Plus de sujets relatifs à : ESX & HyperThreading


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR