Reprise du message précédent :

 
Il y a les sauvegardes pour ça.

Vivement la suite du topic Adesfire1
Je pense aussi me monter un serveur RAID5 soft + LVM, mais seulement quand j'aurais tout compris

ben c'est pas très compliqué ; y'a tout plein de tutos sur le net pour monter son RAID5 et comment le récupérer en cas de panne disque

Oui désolé, j'attends que tout mon entourage soit rentré pour me mettre au boulot.
Donc à partir d'un 20 septembre, je pourrais me consacrer à la rédaction de la suite du topic.
 
Je vais revoir la partie raid 5 et LVM, qui sont je trouve les plus gros morceaux du NAS.
Ensuite, pour le reste, il ne s'agit que de services et tu peux mettre tout et n'importe quoi, donc je vais décrire ce que j'ai mis en oeuvre et on ajoutera ce que VOUS avez mis en oeuvre par la suite.
 
Bien sur, si tu as des questions, tu peux les poser sans attendre, quelq'un d'autre te répondra surement.
Et pour répondre à rody83, ce serais bien de regrouper ici tout ce qu'il faut savoir pour monter son NAS, c'est bien plus confortable, surtout en cas de soucis, on sait directement ou trouver la réponse. En tout cas, c'est ce que j'aprécie sur les topic unique des forums hardware.

C'est le but du raid5 de sauvegarder.

Pas vraiment Cis52, le raid 5 permet juste de se proteger des pannes matérielles, mais pas des virus et autres erreurs de manipulations !

+1
 
Un raid dit sécurisé ne remplacera jamais la sauvegarde.

je viens de tomber sur ca: http://www.materiel.net/details_RR-1640.html, maintenant je me tate pour faire un RAID 5 matérielle grâce à cette carte, mais le soucis c'est que si elle grille ben j'suis dans la mer*e ?
C'est ca si j'ai bien compris ?  
Si j'achète 2 cartes PCI avec 2 ports S-ATA, mais ne gérant pas le RAID (donc RAID 5 logiciel avec Linux) est ce que c'est moins risqué ou est ce que je suis totalement à coté de la plaque et je comprend rien ?
 
edit: j'crois que je vais acheté 2 cartes avec 2 ports S-ATA chez Materiel.net comme Adesfire1 vu qu'elles sont compatible Linux, ca devrait le faire

C'est du RAID software la HighPoint RocketRAID 1640 il me semble.

 
disons qu'en faisant un RAID software tu peux le sauvegarder et le mettre dans un coin ; en cas de coup dur (ex : grillage de ta carte-mère) tu es capable de reconstruire ton RAID si tu as un backup propre de celui-ci... alors que pour sauvegarde le micro-OS d'une carte RAID matérielle, cours toujours
 
le RAID hardware c'est bien, mais faut avoir le SAV qui suit derrière (ex : en milieu pro) pour avoir une carte de dispo en cas de panne... et de toute manière le RAID protège contre une panne disque, mais une sauvegarde des données est absolument nécessaire (vaut mieux mettre xxx € dans un lecteur de sauvegarde que dans une carte RAID à mon avis ).

Imaginons qu'une des 2 cartes PCI S-ATA avec 2 ports, carte normale, pas de RAID quoi, grille et que je la remplace par une autre carte PCI avec 2 ports S-ATA mais qui n'a pas le meme chip S-ATA, mon RAID 5 logiciel va se reconstruire correctement ?

et si ces cartes sata non RAID ne sont pas cheres, pourquoi n'en acheterais-tu pas directement 2 histoire d'en garder une de coté si jamais la 1ere venait a lacher??
au moins tu serais sur que les chips sont les memes....

C'est ce que je prevois (c'est les cartes que Adesfire1 a trouvé sur Materiel.net, 23 euros je crois) mais j'aimerais quand mm avoir la réponse à ma question précédente svp

@neo_
Si tu utilises ta carte en mode controleur uniquement (pas de raid), je ne vois pas pourquoi tu ne pourrais pas la remplacer par une autre sans pour autant perdre tes données ?
Je n'ai pas testé la chose, mais si je compare aux controleurs IDE, je vois que tu ne perds aucune donné lorsque tu passes un disque sur une autre machine.
Après, si quelqu'un peut confirmer la chose...
(mais je suis sûr à 99% de ce que je dit)

Humm, je crois bien avoir un soucis niveau performances....
 
En effet, voila ce que me retourne un hdparm sur ma grappe raid:

 
J'aimerais savoir pourquoi mes débits son si faibles, si je teste un des disques de la grappe seul ce la donne:

 
Pour un raid5 avec des HDD sata tout neuf.....
 
Je pense pas que cela vienne du proc, il ne tourne pas à plus de 50% lors de transfert.....quelqu'un à une idée ?

Le pci, le debit c'est 133Mo/sec
 
Mais, c'est Bi-directionnel ??

Non, si ce que j'ai lu est vrai (et ce n'est pas toujours le cas) le pci n'est pas bi-dir.
 
Cela dit, on est trés loin de cette limite, et si c'était le cas, cela n'éxpliquerais pas pourquoi mes débits sont en dents de scie comme le montre les graphs ci-dessous:

 
On peut voir sur le graph de gauche et de droite le dénivellé des dents de scie, c'est assez impressionant.
Surtout que ça oscille rapidement, le débit monte et hop retombe, en pic, je ne vois pas pourquoi du tout......
 
La j'ai vraiment besoin d'aide !
 
Je viens de tester les débits obtenus, lorsque les 3 disques fonctionnent en même temps, j'ai une moyenne stable de 26 M pour chacun d'eux. Cela viens donc du raid....

Cela vient p'être du calcul de la partié...

Salut tout le monde. J'envisage creer un serveur de fichier dans le futur. Si j'ai bien compris, l'inconvenient d'un raid materiel, c'est que si la carte lache il est impossible de recuperer les donner sauf si on passe par le SAV du constructeur de la carte ?
La solution fasse à ca, c'est u raid logiciel sous linux. On sauvegarde notre fichier de conf et en cas de coup dur on reutilise notre fichier de conf. Le problème c'est que les performance ne sont pas extra (cf dent de scie) ??
Merci piur toutes les infos que pourrez m'apporter.

tu as pas mal résumé la situation en effet...

Salut fouinux, pour les dents de scie, je pense qu'il s'agit d'un problème hardware, mais je n'en suis pas certain.
Il n'y a qu'à voir les performances obtenues par certains avec du matériel plus .... performant.
Je ne lache pas la bride, car le serveur que j'ai actuellement correspond vraiment à ce que je veux, si ce n'est les performances !
 
J'éspére simplement que quelqu'un pourra m'informer du pourquoi des dents de scie (CPU pas assez puissant, vetusté de ma carte mére, etc.)
 
Si je regarde ma configuration windows, j'ai un raid 0 de raptor sur chipset nforce4 (DFI lan party), et bien je peux te dire que ça arrache ( environ 110 Mb/s).
Donc il y a bien un problème, et je ne crains que cela ne soit du à ma machine.

trouve un ptit XP 1800 ou 2000+ et met le a la place de ton duron, peut etre que le soucis est juste là...

Peut être, mais dans ce cas, pourquoi est ce que le processeur n'est pas à 100% tout au long du transfert, mais juste par pic ?
C'est ça qui est incompréhensible, si seulement je plafonner à un bas débit, je saurais identifier la source, mais la il s'agit d'oscillations.

 
Ca ressemble fortement au comportement d'un controleur disque bas de gamme qui sature et qui met le proc en lock lors des transferts DMA...
 
C'est bête mais dans ces serveurs raid5, il vaut mieux avoir des disques et un proc pourri avec un controleur disque et une carte réseau haut de gamme (cher).
On ne peut pas toujours tout mettre sur le dos sur le controleur de parité... suffit de voir les perfs des différents controleurs sata en raid 0... (qui est intégré en natif sur la majorité des controleurs sata...)
 
Et c'est encore pire quand on sait que toutes les cartes PCI partagent le même bus...
 
Je pense que quelqu'un qui monte un NAS aujourd'hui doit vraiment se baser sur une config avec PCI Express (réseau sur un 1x et controleur sata sur un 4x).

 
1 Si cela était du aux controleurs, alors pourquoi lorsque le transfert simultané depuis les 3 disques dur ne pose pas de problèmes (débits stable pour les 3 aux alentours de 30 Mo/secondes) ? Qu'entends tu pars mettre le processeur en lock ?
 
2 Je suis bien d'accord avec toi, mais la je recherche justement l'élément bloquant, et du fait que toutes les sondes soient en dents de scie n'aide pas à trouver le fautif. j'aurais aimé avoir une sonde à 100% et me dire "tiens, le soucis viens de ce composant la qui est saturé"
 
3 Encore une fois, lors de lecture simultannée des 3 disques (mais sans passer par la grappe raid), mon débit et aux environs des 26MO/s pour les 3 , le pci est saturé puisque si je ne transfert que depuis deux disques, le débit deviens plus important. le problème n'est donc pas lié à la saturation du PCI (qui d'ailleurs, meme lorsqu'il est saturé, conserve un débit trés stable).
 
4 Oui si on a de l'argent, non dans le cas contraire, Wildcoyote à prouvé qu'on pouvé tout à fait avoir de bonnes perfs tout en ayant un matériel moyen de gamme. D'ailleurs j'envisage l'achat de composants plus puissant que ma vielle carte mére, mais j'aimerais savoir si cela va résoudre mon problème !
 
Merci, en tout cas, pour tes réponses.

Le simultané n'existe pas sur le controleur, d'autant plus vrai que le bus PCI est partagé entre tous (donc si le réseau pompe de la bande passante...), et c'est encore pire quand on sait que ce n'est pas bidirectionnel.
 
Sur une requête d'un disque, on demande le transfert d'un cluster vers un buffer mémoire, et on ne demande plus rien avant qu'il soit accomplis, l'ordonnancement des 3 disques se faisant via le controleur DMA qui va executer les requêtes entre le contrôleur (la qualité est ici importante) et la mémoire.
Le processeur n'ayant pas forcement beaucoup de chose à faire pendant ces transferts...
 
Si j'ai bien compris, sur une requête RAID tel que décrite par vos systèmes (ajouter le niveau d'abstraction LVM sur le système RAID), l'ordonancement n'est plus si simple. Certes on fait toujours une requête sur chaque disque, mais l'ordonnancement ne se fait pas par cluster LVM, mais par le système raid (dont je ne sais fichtre rien sur sa façon de segmenter les données sur chaque disque), qui doit attendre chaque paquet sur chacun des disques (transfert DMA), puis les traiter (recomposition, contrôle parité...) et transferer dans le buffer final pour le communiquer à la couche LVM... Ces nombreux transferts peuvent mettre en compétition le processeur et le controleur DMA qui a priorité sur le processeur => processeur en attente de pouvoir travailler dans la mémoire => attente matérielle => lock
 
C'est très théorique et je suis peut être complétement largué sur le fonctionnement réel (que j'aurai mal perçu), mais bon, ce serait une bonne excuse
 

 
As tu songer de tester un RAID0 avant de tester un RAID5 sur ta grappe ? Cela limiterait la solicitation du processeur pour tester la qualité du controleur disque.
 
L'autre truc ou il faudrait jouer est le PCI latency du controleur.
 

 
A moins que j'ai mal compris, si le débit augmente avec 2 disques par rapport à 3, c'est justement une saturation du bus qui doit traiter plus de requêtes (half duplex faut il le rappeler).
 

 
Je croyais qu'au contraire ses perfs étaient moyennes et en deçà de ce qu'il esperait ? (correcte en locale mais pas tip top niveau réseau)
 
M'enfin bon, c'est toujours mieux que la plupart des pseudo NAS tout fait qu'on trouve dans le commerce...

cyberlau, tout d'abord merci pour tes réponses pointues et tes remarques.
 
Pour testé mes débits, suite à la constatation des faibles performances en raid5, j'ai fait cela :
 
- Tester avec iperf le débit de mon réseau, il n'est pas fautif.
- Tester avec hdparm -tT chacun de mes 3 disques sata, avec un résultat tout a fait dans la moyenne de ce qui se fait
- Ayant constaté des résultat hdparm correct, j'ai voulu tester si le bus PCI pouvait être la cause, pour cela j'ai fait lancé un pv /dev/sdX > /dev/null sur un des disques, j'ai alors vu que le débit était le même qu'avec hdparm. J'ai donc lancé la même commande avec le deuxiéme puis le troisiéme disque afin qu'ils fonctionne tous en même temps (c'est pour ça que je disais simultanément). J'ai donc constaté un débit de 26 MO parfaitement stable, si tu veux je publirais la courbe. Donc pour moi, le bus pci est tout à fait capable de délivrer un débit constant d'environ 26 MO (sans compter le réseau, qui est aussi en PCI pour le moment).
 
On dirait donc que ni le bus pci, ni le processeur (jamais bloqué à 100%), ni les controleurs ne sont en cause
 
Quand à wildcoyote, il a débits stables et bien supérieur aux miens, je serais déja content d'obtenir le même résultat.
cyberlau, toi qui semble connaitre plus profondément le fonctionnement de tout cela, peut être saura tu m'éclairer avec le peut d'éléments que j'ai.

Bon, je suis passé en 2.6.18 grace à l'aide des membres du forum debian-fr.org
 
Résultat, une net amélioration du débit (le double quasiment) mais je plafonne toujours et je reste avec de belles dents de scie :

 
Avec hdparm, je passe de ~22 à  ~39 MB/sec.
 
Cela confirme deux choses, la partie logicielle, notamment en ce qui concerne les pilotes sata, est une part extrément importante (les débits ont carrément doublé avec le nouveau noyau !).
Mais cela confirme également que mon matériel est un peut trop vétuste.
 
Qu'à cela ne tienne, avec un débit d'environ 40 Mb /sec soit  5 Mo /sec, je fais aussi bien que certains NAS vendus dans le commerce, avec en plus:
 
- 500 Gigas en raid 5 et donc bien plus "secure"
- La gestion LVM2 qui me permet d'étendre mon espace de stockage "à l'infini"
- De la satisfaction personnelle    
- Un porte monnaie moins léger
- Plus toutes les possiblitées (mais aussi présente dans certains NAS commerciaux) ftp, webdav, rsync, serveur de téléchargement, et j'en passe.
 
Il reste de nombreuses choses à faire et à améliorer, mais c'est le but de ce topic.

euh tu es sur que ce que donne hdparm c'est des Megabits/sec ??
 
ça serait pas plutot des Megaoctets/sec??
 
Pour rappel , un octet se dit byte en anglais et en general, on le note avec un B majusucule pr ne pas le confondre avec les bits qui euh ont la meme appellation.
 
du coup 39MB/sec -->39Mo/sec en français.
 
enfin si je me trompe pas. et le contraire m'etonnerais bcp car sinon tu aurais des debits vraiment tres tres faible surtout sur des test en interne (ie. pas via le reseau).
 
un passage a un petit athlon XP ne ferais surement pas de mal non plus (plus de cache L2 pr les calculs c'est mieux)...
 
 
en tt cas, content que tu progresse! au final ce n'est peut etre que logiciel. Wildecoyote etait resté sur de l'IDE il me semble donc c'etait surement mieux géré que le SATA, meme si visiblement le dernier noyau linux ameliore les perfs.
 
 

C'est fortement possible en effet, je viens de regarder si le "m" était en majuscule ou minuscule, il est bien en majuscule.
Donc j'ai un désormais un débit d'environ ~40 Mo en sortie de mon md0 ?
 
Pourant je doute, lorsque je vois les dents de scie du graph sur un période d'une dizaine de secondes, je me demande si les résultats d'hdparm ne sont pas un peut éroné par le fait qu'ils ne s'éxecute qu'en un temps limité de quelques secondes.
 
J'aimerais avoir un outil me permettant d'afficher le débit moyen observé en sortie de ma grappe raid5, ce serait l'idéal.
 
Du coup, je sature presque mon réseau 100Mb, on voit sur le graph que j'arrive à 8 Mo/s, sachant qu'elle va jusqu'à 12 facilement (c'est iperf qui me l'a dit ) je pense que la différence est due aux cartes controleur sur pci qui bouffent la bp disponible.
 
Ca demande encore quelques tests tout ça, faut que je m'y colle.
Ce serait bête de changer de matériel pour rien, mais je suis bien tenté de le faire pour l'ensemble suivant:
 
- Sempron 3000 (donc j'en profite pour mettre une etch amd64 dessus)
- Asus M2N-E (Nforce 570 Ultra, et donc 6 ports sata 2 ! non limité par le PCI, plus carte gigabit elle aussi libéré de la limace de PCI)
- 256 DDR II (parcequ'il en faut bien un peut, mais pas trop, celle que j'ai actuellement est presque toujours inutilisé)
 
Ca devrait changer la donne non ?

ouais la, ça sera plus la meme histoire!!
 
et du coup tu te rapproche pas mal de la  config qu'a fait Wildecoyote.

Bein oui, mais en sata II  
Donc théoriquement, ça devrait dépoter !!!

 
quitte à mettre des sous avec une CM avec PCI express, prend 3WARE 9590SE, comme çà, tu as non seulement un controleur SATA, mais aussi un RAID5 (voir raid 50 ) matériel correct, comme çà plus de problème de perf    
 
Si vous gardez vos machins aussi longtemps, autant prendre un controleur qui tiennent la route.
 
Le raid soft c'est cool, récupérable et tout, mais bon, à vous entendre les controleurs hard grillent souvent ? (alors que c'est supposé durée un bon siècle ...) Vous y faites quoi à vos machines ?  

Bein, la carte que tu proposes, c'est 619,99 € !! , ce que je compte prendre, c'est ~250 €.
Ce que je compte prendre est du matos correct, pas du low cost donc l'argument n'entre pas en compte, en plus, avec ta carte, faut aussi une bécane qui supporte le PCI express, donc en gros 620€ + 200 € soit 820 € !!!!
 
Et puis, avec 250€, j'ai un PC puissant qui me permettra (comme l'actuel, mais avec un débit plus important) de faire autre chose que de connecter 3 disques en raid 5 (serveur de téléchargement, partage avec tout les protocoles que je souhaites, passerelle, serveur de sauvegarde, etc.).
 
D'ailleurs, comme je l'ai dit plus haut, avec la mise à jour de mon noyau, je n'ai plus de problèmes de perfs et je sature ma carte 100Mb, donc finallement, tout va bien. Y a que dans le transfert d'enormes fichiers en quantité importante que j'aurais besoin de performances supplémentaires, mais c'est rare (en fait, je l'est fait deux fois pour synchroniser deux partitions de 40 gigas chacunes, mais maintenant, seul la différence entre la sauvegarde et l'originale est copié, donc ca va bien plus vite !!!!)
 
Si je souhaite avoir plus de puissance, j'upgrade ma machine pour ~250 €, et je pourrais monter une grappe raid 5 de 6 disques sata II, plus encore une grappe 4 disques SATA I sur PCI (je posséde déja deux cartes PCI), plus une grappe 4 disques SATA II sur Pci express (si je suis vraiment en rade, elles coutent 40€ piéces, pour deux ports).
 
Et honnétement, mon boitier ne supporte pas plus de 12 disques, dont un systéme, alors...
 
Mais merci, peut être que cela intéressera quelqu'un de plus fortuné et moins bricoleur.

apres, il faudrait trouver une interface reso qui supporte tout ça....
 
y a un moyen de combiner 2 cartes reseau 100Mb/sec ou gigabyt/sec. ???

Avec un switch qui le supporte oui. C'est pas le cas de la majorité des switchs grand public.

Bien sur qu'il y a moyen, ça s'appelle le channel bonding, ou port trucking selon.
C'est d'une facilité déconcertante sous linux, mais comme l’a dit la personne avant moi, il faut avoir un switch qui le supporte, ou relier deux machines supportant le channel bonfing ensemble. Mais comme sous Windows, j’ai l’impression que ça ne marche pas ….
…faut trouver un switch !
 
Maintenant, faut d'abord voir si les 125 Mo/s d'une carte Gigabit son saturé avant de penser à faire cela.
(Attention, je sais que c'est de la théorie, mais les bench fait sur le controleur réseau embarqué par le Nforce4Ultra montre des perfs trés proches de la théorie, et si j'arrive à avoir un débit à ce niveau, alors je n'aurais plus à me pleindre !!! )
 
D’ailleurs en parlant de ça, quelqu’un connait il un switch supportant cette fonctionnalité ?

la plupart des switches "pro" le font, après pour trouver un "grand public" qui le fait, bonne question

le reso intégré au nf4 ultra c du gigabit ?

oui, et sur certaines mobos en NF4 Ultra il y a deux ports Gigabits intégrés

Oui, mais le deuxiéme, c'est un chip Marvell, rien à voir avec le Nforce, qui est presque aussi performant cela dit.