Hello
 
J'ai un petit serveur dédié 100Mbps 3*3To qui n'a plus de place
C'est un serveur de gros fichiers (>1Go) qui tourne sous debian+nginx+php-fpm pour les curieux, j'augmente mes partitions avec lvm
 
Aujourd'hui je vais migrer dans un datacenter avec une connexion 1Gb/s et je compte gérer moi même mon matos
Je recherche de la souplesse à moindre coût ( si il faut investir plus après je ferais , c'est juste pour optimiser le démarrage)
Pas de tolérance de panne (par la suite peut être)
 
Je vois plusieurs solutions:
 
-Monter un serveur 3U moi même avec la dernière carte mère asrock qui supporte 7 sata et je lui mets 7*4To au fur et à mesure des besoins (ne criez pas je suis dans l'info, je couvrirai mes arrières avec du spare )  -> goulot d'étranglements ?
-prendre un serveur pro ou homemade et lui mettre une baie de stockage (DAS, NAS , SAN ?? ) que j'alimenterais au fur et à mesure
-continuer avec des petits serveur 1U en 4*3To max
-Me mettre à un "système de fichier cloud" comme http://ceph.com/:j'ai de très bon retours mais il faut passer le réseau internet en 10Gp/s bof
 
Merci :-)

Salut,
 
de quel volume utile as-tu besoin ?
Quelle est la criticité du service ? (Ne me dis pas aucune rupture envisageable sauf à être prêt à débourser bcp bcp d'€).

pas de tolérance de panne, service non critique (sisi ça existe)
 
Mon service est basé sur le stockage donc je vais devoir en avoir bcp 100To à terme voire plus .....  
 
Pour l'instant 9To mais ça grimpe régulièrement c'est pour ça que je cherche de la flexibilité

cifs ou nfs ?  
achete un vrai nas, netapp, synology voire dell ..  
tu peux rajouter des tiroirs additionnelles sans tout remettre en cause a chaque upgrade

cifs ou nfs ? -> ext4 :-)

Un nas en ethernet sur une 2 carte réseau ?
On peut ajouter jusqu'à combien de disque?
UN peu limite en accès aussi ?

100To, il va falloir penser à investir dans du lourd !
 
Quel besoin en débit ? Combien d'IO ?

Pour l'instant 1Gb/s je suis déjà tranquille pour qq temps
 
Ensuite soit faire évoluer la structure pour encaisser plus de débit
Soit reproduir le système n fois
 
Je rajoute que les données n'ont pas besoin d'être stockées sur un même serveur ni même datacenter, j'ai un serveur front end qui donne le lien du fichier à DL

Bon de toute manière, pour cette volumétrie, ça va être du gros matos.  
 
Je dirai au minimum, un contrôleur de stockage (Matériel ou logiciel) et plusieurs baies disques.

et un supermicro avec 24 disques c'est pas mieux ?

ça se défend mais ça reste du bricolage
 
Pour le "démarrage" comme tu dis, autant faire les choses bien, et si tu as besoin de "souplesse", partir d'une base solide... (voire les koupaings: NetApp, EquaLogic, ...). Tu veux vraiment pleurer le jour où plusieurs disques crasheront en même temps?

 
+1, sur cette volumétrie, on peut pas se permettre. Et avec 24 HDD, ça suppose de prendre des 4To, et pour les IO, c'est pas tip top.

 
Donc -1 alors t'es pas d'accord sur le fait de prendre une tel serveur ?
 
Ca sert à quoi alors le serveus avec autant de disque
 
Et les baies ça reste des serveurs aussi avant tout ??

 
Exact, un seul serveur avec 24HDD pour une volumétrie de 100To, ça tiendra pas le choc.
 

 
Pour du stockage, mais pas pour une telle volumétrie.
 

 
Plus ou moins, c'est plus complexe que ça.

le netapp FAS2220 atteint 228 To
sinon tu as les Dell PowerVault NX3600
emc ..  
etc

 
Exact : http://www.netapp.com/fr/products/ [...] specs.aspx
 
Mais, il faut tout de même préciser que cette capacité est atteinte en ajoutant des baies additionnelles et via contrôleur de stockage.

oui , il a dit qu'il lui fallait a terme 100To , pas demain matin

Oui, exact, mais cette évolution a un cout réel. Et il vaut mieux le prévoir dès le début pour ne pas avoir de surprise !

tu as aussi des solutions comme datacore ou tu fais evoluer ta volumetrie en fonction des solutions du marché.

Exact, c'est pour ça que j'indiquais plus haut :  

 
 
Tu peux développer car tu restes vague la    
 
Le NetApp FAS2200  est en effet très intéressant, on doit le trouver à 2000€ ht sans disques
J'ai vu le D2600 chez HP aussi http://h10010.www1.hp.com/wwpc/aa/ [...] html?dnr=1
 
 
Mais à terme (bp élevée, max de users) quels vont être les goulots d' étranglements ??

 
J'ai pas compris leur site, c'est un système de fichiers ?

en fait , c'est un système qui virtualise le stockage , tu as une tete (un serveur) qui voit toute ta volumétrie et qui la présente aux "clients"  
intéressant car tu peux augmenter ta volumétrie sans coupure de service et tu peux mettre pleins de constructeurs/technos différents sans personnes ne s'en rende compte
c'est bien aussi pour faire de la repli facilement

 
le D2600 est une baie de disques SAS que tu accroche physiquement derrière un serveur
les FAS de chez netapp sont des systèmes qui font NAS CIFS / NFS ou SAN iSCSI/FC, ils ont l'intelligence et les disques en même temps , très robustes , très belle offre logicielle de management
tu achètes un FAS avec les disques ! et avec des tiroirs de disques suivant ta demande de volumétrie
attention aux nombres de connections simultanées ça conditionnera ta puissance et ton nb de disques

 
 
Pareil que http://ceph.com  par contre c'est trop gourmant en réseau pendant les opérations, > 1Gps

 
Je peux aussi acheter un FAS vierge et y mettre mes disques au fur à mesure ?

vierge ... avec 4 disques (1 spare, 3 disques en raid5) ou 8 si tu prends un modèle double controleur

 
J'ai envie de demander, et pourquoi pas? et ça fait moins de 100To.
Par exemple avec trois raid 6 de 8 disques, ça fait 72To ou plutôt 65.48 Tio.
 
Par naïveté aussi, je ne comprends pas trop la différence, au moins conceptuelle entre des baies DAS et 24 disques en pur local dans un serveur. (bon, cela concerne le D2600)
 
En tout cas, le fait de n'avoir que des très gros fichiers simplifie le problème de performance? Le volume de données est gigantesque mais il n'y a que quelques milliers ou dizaines de milliers de fichiers, ce qui est tout de même assez singulier (il ne s'agit pas d'avoir 10 millions de photos ou 100 millions de divers)
Donc naïvement je peux penser qu'empiler des raid 6 sous XFS ça marche, mais en tout cas il ne me semble pas qu'une solution trop haut de gamme soit nécessaire.

pourquoi du raid 6 ??

Les disques sont tellement énormes, même les 2To ou 3To (tout en se traînant à 100Mo/s et des temps d'accès similaire à il y a vingt ans) que la mort d'un deuxième disque pendant la reconstruction d'un array raid 5 est assez probable.

 
 
carrément probable ?    
 
comment arrives tu à ton calcul pour le raid6?

Je répète surtout ce que j'ai lu sur divers articles anglophones
C'est que la reconstruction d'un raid est affreusement lente (avec de nombreux disques de très grosse capacité), je ne saurais pas trop le quantifier à part dire que ça arrive bien plus souvent si tu as un raid 5 de huit disques 4To qu'un raid 5 de quatre disques de 120Go.

il ya ça comme article par exemple, pas très bien écrit
http://www.zdnet.com/blog/storage/ [...] n-2019/805

le rai6 est un systeme propre a netapp : 2 disques de parité

C'est hp qui a implementé le raid 6 ou raid dp puis netapp, maintenant la majorité des baies ont cette technologie.
effectivement le temps de reconstruction peut etre tres long, mais cela n'impacte pas la prod (variaible selon des parametres de prioritization)
 
qu'on soit en raid 5 ou raid 6 les proba de pannes disques sont les memes. la différence est le fait d'avoir les volumes en lignes meme apres 2 bris de disques (voire 3 ou 4 si les hot spare ont pris le relai)
 
Oui tu peux prendre une tete netapp puis coller des disques ou baies a condition de respecter la matrice de compatibilité. c'est la gamme v series et parait il plus onéreuse.
 
 
comme l' a indiqué ledub, la solution datacore est  constitué de deux serveurs installé sous windows 2008/2012, équipés de cartes i/o lan ou fc ou mixer, selon les protocole scsi que l'on souhaite utilisé et qui va mettre a disposition de tes hosts, les volumes qui sont composé d'un regroupement de plusieurs disques ou baie ou dispositif de stockage reconnu ces noeuds datacore.
 
tu peux imaginer avoir tes deux serveurs datacore équipé chacun, en interne, de 10 disques de 4 T° soit 36 T° utile en raid 5 aujourdh'ui et prendre un baie sas l'année prochaine.

intéressant
dommage que les serveurs principaux doivent être en windows  
Deplus il faut des cartes 1Gps, mais je pense qu'il requiert plus et ça va coûter très cher
 
Ca relance mon idée de  http://ceph.com

tu as une idée de ton budget ?

1500€  
 
C'est pour ça que je cherche une solution ou je pourrais ajouter au fur et à mesure

bonjour,
 
es tu sur qu'il ne manque pas un 0 ?
 
pour 1500, sous traite une vm chez ovh, digicube .....
 

Bon je reviens vers vous après des jours de recherche
 
Ma solution pas cher, souple et pro !
 
Un boitier norco 4220 20 disques sata 350€
 
une carte mère supermicro avec ipmi et 2 sas 400€
 
microp 100€
 
un hp as expander 350€
 
16Go de mémoire 200€
 
Des disques sata en raid 6 avec mdadm
 
 
 
J'hésites encore sur le choix de la carte mère ( bourré de sata, impi intégré ou module additionnel )
 
Avec ce système je peux rajouter une carte sas exander et 20 disque dans un autre boitier
 
Voila