Bien le bonjour à tous.
 
Ma société a le projet d’entraîner une IA à faire de la reconnaissance d'objets sur des images.
Ces images seront générées par un système de captation chez nos beta-testeurs (lieu A) pendant plusieurs mois et nous devront transmettre régulièrement ces images à différentes équipes (lieu B puis C) et aussi les stocker (lieu D).
La taille des données est énorme (on va générer environ 35To par semaine) et les lieux A n'ont pas de bonnes connexions internet donc il faudra déplacer physiquement des disques (ou grappe de disques).
Le système de captation a ses propres disques, il faudra copier ou synchroniser vers une solution externe.
 
D'après vous quels types de solutions sont possibles ? (à base de NAS, ou n'importe quoi d'autre)
 
Comment prévoir une sorte de rotation des disques (ou de la solution) pour enlever ceux qui sont plein et les remplacer par des vides par exemple 1 fois par semaine ? Si possible sans arrêter le système.
 
Pour le lieu D (stockage), il faudrait être capable d'accéder à toutes les données sans trop de manip.
 
 
La moindre piste ou début d'idée sera très appréciée, merci d'avance pour votre temps.
N'hésitez pas si manque de précisions.

35 To c'est en gros 3-4 jours de transfert sur un lien 1 Gb/s, tes sites sont au fin fond de la cambrousse ? car sinon ça peut quand même être beaucoup plus simple d'amener le réseau qui va bien.

un VPN MPLS avec des liens fibre 1gb/s
genre Business VPN chez OBS
mais tu vas raquer.

35 TO par réseau? Heu....vous etes sérieux?
Y a des endroits en France ou il est impossible d'avoir des connections 1GB meme avec OBS ou autre (accessoirement chez moi au fin fond de la marne)
 
A votre avis pourquoi AWS propose des choses genre AWS Snowball? Parce que les liens réseaux sont souvent mal adaptés au transfert de quantité énormes de données

 
c'est pas parce que c'est plus cher que c'est mieux des opérateurs en france il en existe des brouettes, faut pas s'arrêter à OBS.
 

 
et y'a des endroits où on passe 10Gbps pour pas bien cher, voir encore beaucoup plus si on peut tirer une fibre noire bref autant se poser les bonnes questions avant de foncer tête baissée.

 
il ne me semble pas avoir dit ça.
sauf que je demande à voir qui te monte un MPLS avec du 1gb symétrique en GTR 4H 7j/7
j’ai pas d’action chez OBS mais quand on étudie le truc ils sont pas si chers que ça.

mais déjà est-ce que le MPLS est forcément la solution à adopter ? pas forcément.

Bonjour à tous.
Tout d'abord un grand merci à vous pour ces réponses.
Non ces endroits ne sont pas au fin fond de la cambrousse, en règle général ils sont dans une ville (certains même à l'étranger) mais on parle de grands espaces et en interne ils utilisent soit du wifi soit du filaire classique et faire fibrer le lieu juste pour nous et pour quelques mois ce n'est pas possible (et serai trop long). De plus certains lieux sont sécurisés et donc volontairement pas d'accès à internet.
 
C'est pour ça qu'on envisage des transferts physiques.
 
unarcher a évoqué la SnowBall d'AWS, on a déjà vu ça et c'est le type de chose qui serai intéressante. Sauf qu'on a calculé que vu les données, même à 10Gb/s il faudrait genre 7h pour la copie et c'est un soucis car difficile d'envoyer un mec là-bas, lui dire de brancher une snowball, de lancer la copie, d'attendre 7h puis de revenir pour récupérer la snowball et l'envoyer. Et sur le site suivant, il faut à nouveau attendre 7h, avoir la place de stocker tout ça, etc... sur chaque site. Alors que vu notre workflow, on préférerai déplacer les données sur le même support d'un site à l'autre (c'est peut-être une mauvaise idée, n'hésitez pas).
 
C'est pour ça qu'on recherche des solutions avec une copie au fur et à mesure sur un support (donc NAS ou autre) et qu'on pourrai juste débrancher pour transport et remplacer par un nouveau. Donc soit le NAS lui-même, soit les disques (avec le risque que déplacer des disques c'est des gros risques de casse et de pertes de données mais là j'ai pas d'autres idées). Le transport serai assuré par un tiers style UPS, FedEx.

Salut,
 
Si j'ai bien compris ta demande, moi, ce que je verrais bien c'est prendre des NAS milieux de gamme rackable avec genre 8 ou 12 emplacements.
 
Sur le site principal tu prévois/prépare un NAS par semaine et par site distant où tu copies tout en parallèle à partir de ton "enregistreur". Sur les sites distant tu prevois/prepare des baies avec les alimentations électriques, du réseau (10Gbit/s) et des rails premontés adapté à la durée du projet.
 
Ensuite tu envoies une fois par semaine les NASs "pleins" vers les sites distants où ils remplissent peu à peu leurs baies en réalisant des branchements simples (elec + reseau).
 
Chez Synology par exemple je vois bien des RS2019+, avec la ram au max, une carte 2 ports 10Gbit/s et 8 disques 6To ou 8To (soit 42To ou 58To en raid 5 ou SHR). L’avantage de ce modèle est qu'il est compact et pas trop lourd donc manipulable par une seule personne même rempli de disques.
 
Reste à voir si les NAS supporteront bien les transports avec les HDDs installés. Sinon il est toujours possible de numéroter et de démonter les disques mais c'est moins pratique.
 
A+

Merci beaucoup eusebius.
Effectivement après de nombreuses recherches et contacts avec différents fournisseurs, j'en viens à une conclusion très proche de la tienne. Si ce n'est que pour des raisons de transport, je pensais plus à un NAS type bureau qu'à un NAS rackable et également des SSD au lieu des HDD pour mieux supporter le transport, le tout en 2.5" car moins lourd/encombrant (donc transport beaucoup moins cher).

Ainsi pour l'instant je m'oriente plutôt vers des FS1018 : https://www.synology.com/fr-fr/products/FS1018
remplis de SSD 4To soit 48To par NAS, avec une carte 10GbE.

Autre solution que tu évoquais en envoyant que les disques et en gardant des NAS rackables dans les baies des différents sites. Ma question avec cette solution (outre que c'est moins pratique comme tu l'as dis), c'est : si on numérote les disques d'un NAS type Synology, qu'on les enlève à chaud, on les envoie à un autre site et quand on va les mettre dans un autre NAS Synology (de même type biensur), les disques vont être reconnus et lisibles sans soucis ? Il n'y a pas des histoires de reconstruction d'array RAID ou similaire ? Et qui peuvent planter.
Et on peut enlever tous les disques d'un NAS synology sans que ça plante ? Puis remettre à chaud d'autres disques neufs et ça repart direct ? Ou il y a un minimum d'intervention à faire ?

Enfin dernière question : quel est l’intérêt d'avoir un max de ram sur le NAS ? Tu n'es pas le premier à m'en parler et j'avoue que je ne vois pas trop l'impact que ça peut avoir, ça joue sur quelle(s) perf(s) ?