L'objectif du sous-projet « R&D des applications de calcul distribué » est de démontrer, à travers des applications concrètes, l'intérêt que peuvent présenter des accès réseau à très haut débit pour les industriels et la communauté scientifique (enseignement et recherche). Pour ce projet, deux grands domaines d'applications ont été identifiés et ont recueilli les intentions de recherches, de développements et de collaborations de la part d'industriels et d'organismes de recherche :

 -         le traitement de données massives via un système de fichier distribué (LUSTRE) 
 -         la visualisation collaborative haute résolution distante.

 
Traitement de données massives via le système de fichier distribué LUSTRE

Il est établi qu'un nombre de plus en grand de métiers évolue vers des environnements de production numériques, faisant appel massivement à l'outil informatique, ce qui amène les entreprises à se doter d'objets d'archivage des données. Or, il est notoire que les volumes à gérer vont croître exponentiellement. Par ailleurs, les entreprises à haute valeur ajoutée, se basant sur la simulation numérique pour le développement ou la recherche de leurs nouveaux produits, verront leur besoin en stockage numérique croître avec le raffinement de leurs méthodes de mathématiques appliquées (passage au 3D complet + temps), l'augmentation de la résolution des maillages à manipuler, et la taille des résultats de calculs à interpréter. Les domaines concernés sont la prospection pétrolière, l'aviation (tant civile que militaire), l'automobile, la pharmacie, la chimie, l'électro-nucléaire, la météorologie, les nano-technologies et les bio-technologies, pour n'en citer que les plus évidents. D'autres métiers sont également axés sur l'usage intensif de très grandes masses de données comme les secteurs de la finance, de la distribution ou du multimédia (vidéo ou musique à la demande). 

Dans l'approche LUSTRE, les données ne transitent plus par un serveur mais sont coordonnées par un système de metaserveurs, que l'on appelle aussi serveurs de métadonnées. L'idée principale de LUSTRE est que ces serveurs ne mémorisent que des informations sur les données, sans faire transiter les données elles-mêmes dans leur mémoire. Par ailleurs, les systèmes de stockage sont  connectés aux nœuds de calcul, de telle sorte que les transferts de données peuvent se faire directement des clients (nœuds de calcul) aux objets de stockage (silos de bandes, baies de disques). Le rôle des metaserveurs est d'orchestrer les échanges directs entre les nœuds de calcul et les objets de calcul, pour que les données aillent directement sur des systèmes qui sont prêts à recevoir de nouvelles données. L'un des grands intérêts de cette approche est qu'elle entraîne une parallélisation du transfert des données,
augmentant considérablement le débit des échanges par rapport au cas où les données doivent transiter par un serveur.  

Dans le cadre de CARRIOCAS, nous réalisons un développement inédit pour cette technologie jusqu'à maintenant réservée à l'usage interne d'un grand centre de calcul. En effet, dans l'approche d'un centre de calcul, tous les systèmes (nœuds, serveurs, objets de stockage) et le réseau sont locaux. Or, grâce au développement de réseaux très haut débit, la technologie LUSTRE pourrait être appliquée à un ensemble de ressources distribuées de façon distante et non plus locale. Les sites retenus pour les expérimentations sont ceux du LAL à l'université d'Orsay, du CEA/Dapnia à Saclay, d’EDF à Clamart et de Ter@tec du centre CEA/DIF à Bruyères-le-Châtel.   

Visualisation collaborative haute résolution distante 

Comme cela a été évoqué précédemment, de nombreux domaines industriels évoluent vers la manipulation de grands volumes de données. Lorsque ces données sont issues d'expériences, de mesures ou de calculs, il est nécessaire de les analyser et souvent de les interpréter. Le haut degré de raffinement des maillages dans de nombreux domaines, tels que la combustion dans un réacteur en aéronautique, ou la thermohydraulique dans une centrale nucléaire dans le domaine de l'énergie, nécessite des moyens de visualisation fournissant des résolutions de plusieurs millions de pixels.  

Dans le cadre de CARRIOCAS, des développements correspondant aux besoins métiers d’EDF, de la CGG, Renault et Medit seront réalisés. Notamment, les aspects latence du réseau haut débit seront examinés avec attention pour que les interactions avec les objets manipulés présentent une fluidité maximale, compatible avec l'ergonomie de ce nouveau métier que représente l'exploration de données numériques. Pour les expérimentations en grandeur réelle, deux sites ont été identifiés en tant que client et serveur. Celui d'EDF à Clamart sera le site client. Le site CEA Ter@tec sera le site serveur utilisé en tant que moyen de calcul lourd et générera les données à faire transiter par le réseau. La phase de validation de l'utilisation à distance de serveurs de calculs pour une visualisation déportée de données massives se basera sur un grand mur d'images expérimental de plusieurs millions de pixels.