Bonjour,          
 
J'ai créé une VM (Ubuntu VM 32 Go) avec Proxmox.
 
La durée du clonage est d'environ 50mn dans mon système de fichiers (RAID0 avec 7 disques SAS 2,5'' 10k rpm)
 
Le transfert passe rapidement à 100% durant la première minute, puis rien ne semble se passer jusqu'à la fin du clonage.
 
Pendant le clonage, les graphes cessent d'afficher les courbes, bien que les compteurs numériques (CPU Usage, Load average, IO Delay, RAM...) continuent d'être mis à jour
 
 
Maintenant, si je clone la même VM depuis un disque HDD-Usb vers le système de fichiers (pas au même emplacement), la durée est la même (environ 48 mn).
 
Mais si je clone à l'envers du système de fichiers vers le disque HDD-Usb, la durée n'est que de 43 secondes !!!
 
 
Ensuite, j'ai testé la vitesse de transfert avec la commande hdd ( (dd if=/dev/zero of=/tmp/test.data bs=10M count=1024 conv=fdatasync):
to FS:          638 Mo/s
to HDD-USB:   36 Mo/s
   
Le système de fichiers semble donc fonctionner correctement...
 
 
Caractéristiques:
- RAID0 avec 7 disques SAS 2.5'' 10krpm, 660 Go (NETAPP X422A-R5)
- contrôleur RAID : P420i, sans "module RAM"
- Serveur HP Proliant DL360P G8 ( https://www.serveur-occasion.com/fr [...] ck-1u.html )
- CPU(s): 32 x Intel(R) Xeon(R) CPU E5-2650 0 @ 2.00GHz (2 Sockets)
- Kernel Version: Linux 5.4.106-1-pve #1 SMP PVE 5.4.106-1 (Fri, 19 Mar 2021 11:08:47 +0100)
- PVE Manager Version: pve-manager/6.4-4/337d6701
 
 
Pouvez-vous m'aider à solutionner ce problème de clonage très lent ?
 
A défaut, pourriez-vous m'indiquer un autre forum où je puisse essayer de poser ma question ?        
 
Best regards,
Christophe.

On a un topic dédié Proxmox, sinon tu peux essayer sur le forum proxmox
 
Perso je miserais sur un problème de conf de ton raid0 (writeback ou pas, ...).
 
Autre question : c'est quel FS sur le raid0 ? Tu as séparé l'OS et les VMs sur les disques ? Il reste de l'espace dessus ?
 
Tu as checké que le firmware de la p420 soit à jour ? Regarde par exemple ici : https://community.hpe.com/t5/ProLia [...] 8fhEw6_UQ.

 
Merci de ta réponse, car c'est la 1ère que j'obtiens de tous les forums où j'ai demandé de l'aide.      
Par contre, je n'ai pas trouvé le topic dédié Proxmox ici.
 
Sinon je suis bien sûr allé sur le forum Proxmox, mais aucune réponse pour l'instant ...

 
C'est que j'ai pensé aussi...    
 
Mais dans ce cas, pourquoi le pb n'apparaît pas également avec le test "dd" qui, comme on pouvait s'y attendre, montre une écriture beaucoup plus rapide sur le fs que sur le HDD USB externe ?
 
J'ai testé la vitesse de transfert avec la commande "dd" ( (dd if=/dev/zero of=/tmp/test.data bs=10M count=1024 conv=fdatasync):
to FS:          638 Mo/s
to HDD-USB:   36 Mo/s
 
 
Sinon comment vérifier (avec quelles commandes) la conf de mon Raid0 et répondre à ta question (writeback ou pas ...) ?

https://forum.hardware.fr/forum2.ph [...] 419&page=1

T'es sûr de bien lire les résultats de DD ? Pas de mélange des Mo/Mb/MB ?
Après, un test sur des zéro uniquement, et que en écriture et pas en lecture, bon

Donc, tu refais tes tests en lecture ET en écriture et pas en partant sur des zéro. Et tu postes une capture de la conf du raid 0. Et tu réponds aux autres questions, sinon ça va être compliqué d'avancer

Pour la suppression, c'est une case à cocher quand tu édites le message, les modos ont autre chose à faire que lire tous les messages du forum et supprimer les erreurs

Pour la conf du raid 0, si il est configuré sur la carte raid... Dans l'écran de gestion de la carte via le bios, ou via l'iLO.

[quotemsg=174429,2,626006]
Autre question : c'est quel FS sur le raid0 ? Tu as séparé l'OS et les VMs sur les disques ? Il reste de l'espace dessus ?
 
OS et VMs:

 

 
Ok merci, j'avais cherché mais pas encore trouvé !    

 
Ok, j'ai cela:
 

 

 

 
[img]https://nsm09.casimages.com/img/2021/06/20//21062005180326004717469293.jpg
[/img]
 

 

 
Comment faire des tests "en lecture ET en écriture et pas en partant sur des zéro" ?
Je prends un fichier d'1Go quelconque, que je lis et j'écris sur le FS ?
Mais je pars d'où pour faire cela, de mon disque externe HDD USB ?

Moi je commencerai par ce qui est décrit là :
https://linuxreviews.org/HOWTO_Test [...] erformance

Pour tes captures de la conf raid, on voit plein de choses... Sauf la conf du raid y'a pas d'autre vue ?

Tu clone une VM allumée ou éteinte ?

 
Sur une VM éteinte, pour simplifier au maximum  la tâche de Proxmox.

 
J'ai aussi ça, mais c'est guère mieux

 
Quant à ça ...
[img]https://nsm09.casimages.com/img/2021/06/20//21062007055326004717469435.jpg[img]
[img]https://nsm09.casimages.com/img/2021/06/20//21062007055326004717469434.jpg[img]
[img]https://nsm09.casimages.com/img/2021/06/20//21062007055326004717469433.jpg[img]
[img]https://nsm09.casimages.com/img/2021/06/20//21062007055326004717469432.jpg[img]
[img]https://nsm09.casimages.com/img/2021/06/20//21062007055226004717469431.jpg[img]

 
Posté le 20-06-2021 à 18:55:11  profileditEdition rapideansweranswer +configFavoris
Prévenir les modérateurs en cas d'abus
 
 
l0g4n a écrit :
 
Moi je commencerai par ce qui est décrit là :
https://linuxreviews.org/HOWTO_Test [...] erformance
Pour tes captures de la conf raid, on voit plein de choses... Sauf la conf du raid y'a pas d'autre vue ?
 
 
 
J'ai aussi ça, mais c'est guère mieux
https://nsm09.casimages.com/img/202 [...] 469429.jpg
 
Quant à ça ...
[img]https://nsm09.casimages.com/img/2021/06/20//21062007055326004717469435.jpg[img]

Bonjour,      
 
Afin de repartir sur une base saine, j'ai sauvegardé toutes mes VMs cette nuit (cela a évidemment pris très longtemps) et j'ai recréé mon Raid0 sur 4 disques:
 

 

 

 

 

 

Je te suggère d'attendre la fin de la reconstruction avant de faire des tests de perfs

 
Je te remercie de ce lien.
Je comprends mieux maintenant pourquoi mes premiers tests étaient de peu de valeur.
 
J'ai essayé de le mettre ces tests en œuvre hier soir,  mais j'avais créé mon Raid0 sur l'ensemble des disques sans garder de place.
Du coup, je n'avais plus assez de place sous / pour faire le test "bonnie++ (demande le double de la ram, soit 128Go) et il aurait fallu que je reduce une partition pour extend "/" et je n'ai pas trop réussi.    
 
Du coup, j'ai décidé de sauvegarder toutes mes VMs sur mon HDD usb externe, et de refaire un beau Raid0 tout neuf sur 4 disques en laissant de la place pour ensuite extend "/", tout ça avec toutes les copies d'écran associées pour que tu y vois clair.      

Lors de l'installation de Proxmox, celui-ci demande cela:

 
Je suppose qu'il faut répondre "ext4", pour ne pas superposer du Raid logiciel à du Raid matériel, exact ?      

Oui, ou xfs.
Mais si tu veux plus de flexibilité, tu peux partir d'une installation Debian (par exemple pour isoler le stockage des VMs de celui de l'OS) et installer ensuite proxmox par dessus.

Ce serait certainement une bonne chose (isoler le stockage des VMs de celui de l'OS), mais je n'avais pas trouvé d'iso le permettant.
 
Celle proposée sur le site https://www.proxmox.com/en/downloads  (proxmox-ve_6.4-1.iso) intègre l’installation de Debian.

Relis mon message avec le doigt.
Tu installes d'abord une Debian (a voir la version exacte dans la doc Proxmox), pour profiter des possibilités de customisation un peu plus avancées du wizard de setup, et ensuite tu installes manuellement les paquets Proxmox (en suivant la doc sur le site).

 
En effet, j'avais mal lu...    
 
Alors c'est une solution que je retiens pour la suite, mais pour gagner du temps, je vais continuer avec l'iso pour l'instant (ne pas rajouter des pbs au pb   )

J'essaie de faire un test de perfs disk "bonnie++", mais je rencontre un pb que je ne m'explique pas:
 
J'ai créé 2 Raid0, sda (Promox) et sdb.
 
Sur sdb, j'ai créé une partition sdb1 de 140Go
 
Or quand j'essaie d'écrire dedans un fichier de 128Go pour les tests "bonnie++", un message me dit qu'il n'y a plus assez d'espace pour cela:

 

 
 
Je ne vois pas trop où je fais erreur ...      
 

Bonnie aurais pas besoin de plus de place ? Que dit un df -h ?
Essais avec genre, 60Go ?

 
Bien vu, un "df -h" indique que ma partition a une taille de 40Go alors que "lsblk"affiche 140 Go !    

 
Je vois encore moins à quel endroit je fais une bourde !

Tu aurais pas un système de fichiers qui remplis pas la partition ?
Que dit mount ?

Mount dit:    

Démonte la partition /root/part-sdb1.
Resize2fs /dev/sdb1.
e2fsck.
Remontage
En soit ça devrait passer à chaud aussi.

Ok merci, pb résolu  avec ta méthode.    
 
Maintenant test de perfs "bonnie++" en cours...    

Et voilà:

 
Bon c'est pas terrible comme présentation, mais j'ai vu ici (https://www.jamescoyle.net/how-to/9 [...] ie-example) qu'il existait un script perl qui transformait ces résultats en une page html plus sympa du style:
https://www.jamescoyle.net/wp-conte [...] 40x125.png
 
Je vais essayer de te faire cela.    

Qu'en penses-tu ?      
 

Que vu d'ici, rien ne montre un problème de perf sur le raid 0.
Du coup, ça pencherais plus sur un problème Proxmox. De conf ou de maj. Il est a jour ?

2 autres mesures:
 

 

 
Pour Proxmox, j'ai simplement utilisé l'image proxmox-ve_6.4-1.iso disponible sur le site officiel https://www.proxmox.com/en/downloads

Quand on aime...
 
 bonnie++ -d /root/part-sdb1/ -s 128G -n 7 -m TEST04 -b -u root

 
Merci beaucoup pour ton aide, concernant la vérification de mon FS.
 
Voici donc maintenant le FS vu par Proxmox (y compris l'ajout de la partition sdb1 pour les tests de perfs "bonnie++" ):

 
 
A tout hasard, j'ai retenté un clonage d'une petite VM (Ubuntu 32Go) et malheureusement, le canard semble toujours vivant:
 

• La durée du clonage est d'environ 50mn dans mon système de fichiers (RAID0 avec 7 disques SAS 2,5'' 10k rpm)

• Le transfert passe rapidement à 100% durant la première minute, puis rien ne semble se passer jusqu'à la fin du clonage.

• Pendant le clonage, les graphes cessent d'afficher les courbes, bien que les compteurs numériques (CPU Usage, Load average, IO Delay, RAM...) continuent d'être mis à jour

 
Que puis-je te donner comme autres informations pour tenter de cerner le pb ?        
 
 

Ça vaudrait le coup de sortir les logs. Ou de lancer manuellement la commande de clonage en verbose.

Pour l'emplacement des logs, c'est pas super intuitif, mais c'est bien résumé là : https://forum.proxmox.com/threads/h [...] des.51762/

 
Merci beaucoup pour ces nouvelles infos, je vais voir de suite.    

Vérifie quand même dans l'interface que t'es a jour

 

 
root@pvevar/log/pve/tasks# cat ././6/UPID:pve:000021D8:0004A233:60D2CD46:qmclone:100:root@pam:
create full clone of drive scsi0 (local-lvm:vm-100-disk-0)
  Logical volume "vm-200-disk-0" created.
transferred 0.0 B of 32.0 GiB (0.00%)
transferred 327.7 MiB of 32.0 GiB (1.00%)
transferred 655.4 MiB of 32.0 GiB (2.00%)
transferred 983.0 MiB of 32.0 GiB (3.00%)
transferred 1.3 GiB of 32.0 GiB (4.00%)
transferred 1.6 GiB of 32.0 GiB (5.00%)
transferred 1.9 GiB of 32.0 GiB (6.01%)
transferred 2.2 GiB of 32.0 GiB (7.01%)
transferred 2.6 GiB of 32.0 GiB (8.01%)
transferred 2.9 GiB of 32.0 GiB (9.01%)
transferred 3.2 GiB of 32.0 GiB (10.01%)
transferred 3.5 GiB of 32.0 GiB (11.01%)
transferred 3.8 GiB of 32.0 GiB (12.01%)
transferred 4.2 GiB of 32.0 GiB (13.01%)
transferred 4.5 GiB of 32.0 GiB (14.01%)
transferred 4.8 GiB of 32.0 GiB (15.01%)
transferred 5.1 GiB of 32.0 GiB (16.02%)
transferred 5.4 GiB of 32.0 GiB (17.02%)
transferred 5.8 GiB of 32.0 GiB (18.02%)
transferred 6.1 GiB of 32.0 GiB (19.02%)
transferred 6.4 GiB of 32.0 GiB (20.02%)
transferred 6.7 GiB of 32.0 GiB (21.02%)
transferred 7.0 GiB of 32.0 GiB (22.02%)
transferred 7.4 GiB of 32.0 GiB (23.02%)
transferred 7.7 GiB of 32.0 GiB (24.02%)
transferred 8.0 GiB of 32.0 GiB (25.02%)
transferred 8.3 GiB of 32.0 GiB (26.03%)
transferred 8.6 GiB of 32.0 GiB (27.03%)
transferred 9.0 GiB of 32.0 GiB (28.03%)
transferred 9.3 GiB of 32.0 GiB (29.03%)
transferred 9.6 GiB of 32.0 GiB (30.03%)
transferred 9.9 GiB of 32.0 GiB (31.03%)
transferred 10.2 GiB of 32.0 GiB (32.03%)
transferred 10.6 GiB of 32.0 GiB (33.03%)
transferred 10.9 GiB of 32.0 GiB (34.03%)
transferred 11.2 GiB of 32.0 GiB (35.03%)
transferred 11.5 GiB of 32.0 GiB (36.04%)
transferred 11.9 GiB of 32.0 GiB (37.04%)
transferred 12.2 GiB of 32.0 GiB (38.04%)
transferred 12.5 GiB of 32.0 GiB (39.04%)
transferred 12.8 GiB of 32.0 GiB (40.04%)
transferred 13.1 GiB of 32.0 GiB (41.04%)
transferred 13.5 GiB of 32.0 GiB (42.04%)
transferred 13.8 GiB of 32.0 GiB (43.04%)
transferred 14.1 GiB of 32.0 GiB (44.04%)
transferred 14.4 GiB of 32.0 GiB (45.04%)
transferred 14.7 GiB of 32.0 GiB (46.04%)
transferred 15.1 GiB of 32.0 GiB (47.05%)
transferred 15.4 GiB of 32.0 GiB (48.05%)
transferred 15.7 GiB of 32.0 GiB (49.05%)
transferred 16.0 GiB of 32.0 GiB (50.05%)
transferred 16.3 GiB of 32.0 GiB (51.05%)
transferred 16.7 GiB of 32.0 GiB (52.05%)
transferred 17.0 GiB of 32.0 GiB (53.05%)
transferred 17.3 GiB of 32.0 GiB (54.05%)
transferred 17.6 GiB of 32.0 GiB (55.05%)
transferred 17.9 GiB of 32.0 GiB (56.05%)
transferred 18.3 GiB of 32.0 GiB (57.06%)
transferred 18.6 GiB of 32.0 GiB (58.06%)
transferred 18.9 GiB of 32.0 GiB (59.06%)
transferred 19.2 GiB of 32.0 GiB (60.06%)
transferred 19.5 GiB of 32.0 GiB (61.06%)
transferred 19.9 GiB of 32.0 GiB (62.06%)
transferred 20.2 GiB of 32.0 GiB (63.06%)
transferred 20.5 GiB of 32.0 GiB (64.06%)
transferred 20.8 GiB of 32.0 GiB (65.06%)
transferred 21.1 GiB of 32.0 GiB (66.06%)
transferred 21.5 GiB of 32.0 GiB (67.07%)
transferred 21.8 GiB of 32.0 GiB (68.07%)
transferred 22.1 GiB of 32.0 GiB (69.07%)
transferred 22.4 GiB of 32.0 GiB (70.07%)
transferred 22.7 GiB of 32.0 GiB (71.07%)
transferred 23.1 GiB of 32.0 GiB (72.07%)
transferred 23.4 GiB of 32.0 GiB (73.07%)
transferred 23.7 GiB of 32.0 GiB (74.07%)
transferred 24.0 GiB of 32.0 GiB (75.07%)
transferred 24.3 GiB of 32.0 GiB (76.07%)
transferred 24.7 GiB of 32.0 GiB (77.08%)
transferred 25.0 GiB of 32.0 GiB (78.08%)
transferred 25.3 GiB of 32.0 GiB (79.08%)
transferred 25.6 GiB of 32.0 GiB (80.08%)
transferred 25.9 GiB of 32.0 GiB (81.08%)
transferred 26.3 GiB of 32.0 GiB (82.08%)
transferred 26.6 GiB of 32.0 GiB (83.08%)
transferred 26.9 GiB of 32.0 GiB (84.08%)
transferred 27.2 GiB of 32.0 GiB (85.08%)
transferred 27.5 GiB of 32.0 GiB (86.08%)
transferred 27.9 GiB of 32.0 GiB (87.08%)
transferred 28.2 GiB of 32.0 GiB (88.09%)
transferred 28.5 GiB of 32.0 GiB (89.09%)
transferred 28.8 GiB of 32.0 GiB (90.09%)
transferred 29.1 GiB of 32.0 GiB (91.09%)
transferred 29.5 GiB of 32.0 GiB (92.09%)
transferred 29.8 GiB of 32.0 GiB (93.09%)
transferred 30.1 GiB of 32.0 GiB (94.09%)
transferred 30.4 GiB of 32.0 GiB (95.09%)
transferred 30.7 GiB of 32.0 GiB (96.09%)
transferred 31.1 GiB of 32.0 GiB (97.09%)
transferred 31.4 GiB of 32.0 GiB (98.10%)
transferred 31.7 GiB of 32.0 GiB (99.10%)
transferred 32.0 GiB of 32.0 GiB (100.00%)
transferred 32.0 GiB of 32.0 GiB (100.00%)
found pending changes for 'sockets', discarding for clone
TASK OK
root@pvevar/log/pve/tasks#