Hello,
 
Je suis entrain de monter un nouveau PC (I7 4770 / SSD / 16Go ram) afin de traiter des images astronomiques.
Mon PC actuel (Seven / Core 2 Quad / 8Go ram ) est complètement à la ramasse et une opération de traitement peut durer 2/3 heures.
 
Le logiciel que j'utilise a été porté sur plusieurs plateformes : FreeBSD, Linux, Apple Mac OS X et Windows  
http://pixinsight.com/sysreq/index.html
 
Je ne sais pas quel OS choisir en fait    
Je ne trouve aucun bench qui va démontrer que Seven est moins rapide sur une application 64-Bits que FreeBSD ou linux par exemple (ou inversement)
 
Qu'en pensez vous, connaissez vous un site qui a testé de manière objective les différents OS sur différentes applications?
 
merci

Le plus important, c'est de charger en ram ton fichier, soit via le logiciel soit via un ramdisk.

Après tu auras besoin d'une version 64 bits pour profiter au mieux de la ram dispo.

le site indique que l'application est développée sur pcbsd et fedora, donc plutôt une bsd ou une distribution linux généraliste qu'un windows pour exécuter, c'est toujours mieux pour le suivi des bugs et des perfs.

Regarde la taille de tes fichiers et des calculs nécessaires, probablement que la ram sera plus importante que le SSD. si tu charges tout en ram, mieux vaut avoir 32 Go de ram et un hd classique.

Merci pour ta réponse
En fait ce logiciel n'existe plus qu'en 64bits donc un OS 64 est obligatoire.
J'ai aussi pensé à ramdisk mais ce n'est pas le traitement d'une image qui pose problème. En astro pour faire une image il en faut plusieurs.
Par exemple pour faire cette image il en a fallu 150 et chaque images font 32mo.
Tous les composants sont sollicités et je cherche donc le meilleur OS niveau gestion I/O, ram et éventuellement CPU  
 
Après peut être qu'ils se valent tous et que cela ne sert à rien de batailler là dessus
 
 
 
 
 

Je n'ai pas trop regardé (étant sur tablette là), mais il ne serait pas possible de faire justement un "découpage" des opérations sur un cluster de plusieurs machines, ou d'utiliser du GPGPU ?
Là en se renseignant auprès des dévs et utilisateurs de ce logiciel (forum officiel ?) tu auras probablement une meilleure réponse.

le gpcpu est en cours de dev sur ce soft

Malgré ce que disent les fanboys Windows est pour la plupart du temps plus rapide, plus stable etc. que Linux pour un usage donné. Les drivers sont de meilleure qualité et il y a moins de bugs.

C'est sûr que pour installer l'OS j'ai plus vite fait sous linux (20 minutes pour installation + updates, contre environ 3 heures sous Windows 7)

sinon, voir de ce côté ci
Apparemment il faut du stockage, du stockage et du stockage. Ou juste blinder la RAM. Ou un gros n' SSD.

 
juste pour que la discussion ne dégénère pas, tu as des arguments autres que ton ressenti pour ces assertions ?

A propos de windows c'est vrai pour (a) les drivers propriétaires (b) les applications développées principalement sous windows.

maintenant pour des applis qui utilisent des machines virtuelles ou des langages de haut niveau, ca fait une différence négligeable.

ce qui est vrai c'est que sur l'utilisation du SSD et la gestion de la ram, que l'on soit sur n'importe quelle platerforme, c'est le paramétrage de la machine est le plus important.

Sur l'utilisation des ssd, pour des process de traitement avec beaucoup d'écriture, je pense qu'un ramdisk est préférable, sauf si on a besoin d'aller au dessus de 32 Go. Je fais régulièrement des ramdisk de 8/10 Go pour des traitements statistiques et c'est vraiment plus bénéfique qu'un ssd.

Le mieux c'est sans doutes ramdisk avec sauvegarde automatique par rsync et un raid HDD pour la fiabilité.
Un tuto ici pour le cas d'un serveur web, ca marche de la meme façon pour d'autres softs :

http://www.octetmalin.net/linux/tutoriels/ramdisk.php

Un thread pour la configuration des ramdisk sous pixinsight
http://pixinsight.com/forum/index.php?topic=2839.0

Merci pour vos réponses et remarques.
Effectivement le GP-GPU c'est normalement pour 2014, cela pourrait bien changer la vie de pas mal d'astram qui désespèrent à attendre devant leur PC que les traitements se finissent.
J'ai bien noté l'utilisation des I/O parallélisés sur plusieurs disques. C'est aussi ce que j'utilise à date sur deux grappes de RAID0 (non SSD)
Sur ma nouvelle conf je vais supprimer une grappe et passer le stockage principal sur un SSD Samsung 840Pro et le swap de PixInsight sur le RAID0 restant ou ramdisk (merci Magicpanda pour le lien)
 
Niveau OS les dev recommandent FreeBSD (PcBSD) sans forcément le justifier par de meilleures perf. Peut être qu'ils n'ont tout simplement pas le temps de benchmarker les différents OS, ce n'est pas leur job.
 
Pour revenir à la perf des différents OS j'ai regardé un peu plus sur le net et la tendance serait de dire que les I/O sont plus rapides sous FreeBSD/Linux, les calculs très légèrement plus rapides sur Seven (meilleure prise en charge des nvx jeu d'instruction) et la 3D (jeux) plus rapide sous Seven mais ça  je m'en fou un peu    
 
Donc le seul moyen d'en avoir le cœur net c'est de tester avec un multiboot !
PcBSB n'a pas l'air du tout compliqué à installer et le logiciel sur cette plateforme non plus
 
 
 
 

drap (ton problème est intéressant)

je dit ca naivement, mais Berkeley c'est à la fois l'origine des BSD et un des principaux sites de recherche en astrophysique aux usa (seti & co)
donc peut etre bien qu'ils bossent sur des bsd assez souvent.

Par contre je n'arrive pas à savoir si CUDA est supporté par BSD. Je trouve des infos contradictoires...

Je viens de voir, effectivement... prévu pour cette année  
 
Après quand au choix de BSD, il peut s'expliquer par le fait qu'il est relativement bien utilisé dans la communauté scientifique américaine dès qu'il s'agit de station de travail ou de serveur

cuda c'est en cours pour freebsd et ça dépend des cartes

 
Je ne voulais pas tellement troller mais pour un usage type jeux vidéo déjà, ou certains usages multimédia Windows peut être pas mal devant.
Bon, clark_foam répond mieux que moi
 
 
Pour l'usage considéré c'est peut-être du côté RAM et I/O disque et système de fichiers qu'il y a vraiment de gros besoins et donc là c'est sûr, ça peut être soit indépendant de l'OS soit favoriser linux ou BSD. Il y a aussi des effets d'échelle. Sur tous les OS : on peut utiliser ramdisk, ou SSD, ou multiples HDD..
Sous BSD : on peut avoir un énorme système de fichiers ZFS avec éventuellement un gros SSD en cache. (ou juste un ZFS sur un gros SSD)
Sous linux : on peut avoir plein de systèmes de fichiers custom dont des systèmes de fichiers distribués : Glusterfs, Lustre et autres (pour des péta-octets sur plein de bécanes, peut-être). Ou simplement un XFS (si c'est adapté à la charge).
 
Je pense qu'il faut avoir une vague idée de l'échelle où l'on se situe : stockage total, et stockage mis à l'épreuve pour une opération.
 
Si montage d'un PC neuf : je pense qu'il faut vraiment faire avec une carte-mère à chipset H97 ou Z97, possédant un port M2 (pour SSD PCI express) et/ou SATA express, pouvant supporter un SSD à la norme "NVMe". Si cette phrase ressemble à des injures de bande dessinée, il y a de quoi comprendre un peu à quoi ça sert ici
http://www.hardware.fr/news/13759/ [...] intel.html
 
Pouvoir ajouter un SSD au format M2 (jusqu'à 1Go/s théorique) interfacé en NVMe ça "pérennise" la config.

Ah c'est rapé pour le Z97, j'ai pris une Z87 d'occase (comme tout le reste d'ailleurs).
Quand les disques SATA express NVMe seront plus accessibles, je verrai pour l'upgrade du 840 Pro (qui déjà va booster pas mal normalement)
 
Je vais finir de recevoir la quincaillerie cette semaine et après je monte tout ce bazar avec un dual boot. Les OS seront sur un petit SSD dédié.

ca ne sert à rien de prendre des chipsets hyper récents, ils sont souvent mal supportés par les versions stables des OS

Ca y est j'ai fini de monter les composants et ils sont optimisés (4770k@4.5Ghz, 16Go DDR2133cas10, SSD 840Pro 512 le tout dans un boitier mini ITX). J'ai fini par choisir Fédora comme distrib vu que le support de CUDA sur BSD me parrait assez flou.
Et bien que ça soit dans linux ou windows c'est la grosse claque. Quelle upgrade pour rapport à mon ancien pc !
Bref, les chiffres :
 
Benchmark Pixinsight (traitement essentiellement basé sur les I/O)
Windows : CPU=>7634 I/O=>4554 Total=>4554
Fédora :    CPU=>8571 I/O=>25338 Total=>9840
Y'a pas match. Le score est quasiment au niveau des Hexacore et pas loin des serveurs Xéon E5-2695  
Résultats globaux => http://pixinsight.com/benchmark/
Le test réalisé ce matin => http://pixinsight.com/benchmark/be [...] THW3B6B0I2
 
 
 
Maintenant quelques mesures lors de traitements divers...
 
Assemblage mosaique (traitement qui solicite la ram et le cpu)
Windows : 295,7s
Fédora : 290,3s
 
Alignement d'images stéllaires (traitement qui solicite CPU et à moindre mesure I/O)
Windows : 48.6s
Fédora : 41.4s
 
Stacking des images alignées (traitement qui solicite I/O, CPU et ram)
Windows : 32.5s
Fédora : 25.7s
 
Test du Parallel Swap File Storage avec un autre SSD (Vertex2) => cela dégrade la perf. Il y a trop d'écart de génération entre les deux SSD à mon avis.
 
Donc voila j'ai la réponse à ma question    
Prochain essai sur Fédora, modif dans le sysctl.conf pour optimiser les i/o Vs l'utiliation de la ram.
http://www.sysxperts.com/home/anno [...] roundratio

merci pour ces benchs, c'est intéressant !