VISITE DU CENTRE DE CALCUL
DE METEO-FRANCE A TOULOUSE.
Le 25 janvier, Jean Coiffier et moi même, avons organisé une visite du centre de calcul pour les météos de l’AAM du Sud Ouest.
Rendez vous a été pris à 12h au restaurant de la météopole, Olivier Moch (Directeur Adjoint de Météo France, Directeur du site de la Météopole), Guy Lachaud, notre Président Michel Maubouché ont très sympathiquement partagé notre repas ainsi que Francis Mongrand et Jean François Estrade qui nous commenteront cette visite.
Ce compte rendu, sans vouloir entrer dans les détails, doit quand même présenter des chiffres afin de donner un aperçu des puissances de calcul utilisées.
Le centre de calcul est sous la responsabilité de la Direction des Systèmes d’Information (DSI) qui a pour mission d’assurer et de coordonner la concentration, la diffusion des informations météorologiques ainsi que leur traitement en vue de fournir les produits destinés à analyser et prévoir le temps.
Le centre de calcul s’organise autour des fonctions principales suivantes :
Au niveau International, dans le cadre de l’Organisation Mondiale de la Météorologie (OMM), le Système Mondial des Télécommunications (SMT) assure la circulation de l’information entre les différents Centres Régionaux de Télécommunication (CRT tel que Toulouse, Exeter, Offenbach, Moscou, Washington, Melbourne). C’est ce que l’on appelle la Veille Météorologique Mondiale (VMM)
Au sein de la VMM, le Centre de Toulouse a la responsabilité de Centre Régional de Télécommunication (CRT), à ce titre, il assure la concentration, le contrôle, la compilation, l’acheminement des bulletins nationaux et de certains pays européens. Ces informations circulent en Europe Occidentale au sein du Réseau Régional de Transmission de Données Météorologiques (RRTDM) (en anglais : Regional Meteorological Data Connection Network /RMDCN) qui assure la liaison entre les Centres en protocole Internet.
Le Centre de Toulouse traite en temps réel de l’ordre de 120000 bulletins alphanumériques et 24000 documents graphiques par jour. Pour ce faire le centre utilise le système TRANSMET qui se compose de 2 serveurs SUN 3500 (opérationnel et secours)
Au niveau national, c’est le réseau RETIM2000 (Réseau de Transmission d’Information Météorologique) qui permet aux Centres Départementaux de la Météorologie (CDM) de recevoir la diffusion de produits élaborés sur des terminaux opérationnels (Poste Prévi surveillance du PIC)
Cette diffusion se fait à partir de TRANSMET, elle est acheminée via les services de l’opérateur GLOBECAST du satellite EUTELSAT W3 sur des récepteur RETIM2000.
Une autre diffusion RETIM 2000 destinée actuellement spécifiquement à l’Afrique est opérationnelle.
La remontée des informations des CDM vers TRANSMET se fait par circuits commutés à 512Kb/s.
A noter également la base de données IRA (Interrogation Réponses Aéronautiques) destinées aux usagers aéronautiques.
Le système DIAPASON assure toutes les tâches préparatoires (pré traitement) au lancement des modèles de prévisions numériques sur le supercalculateur et du post traitement des résultats et de la fabrication des produits destinés aux prévisionnistes ou aux clients extérieurs. Il gère les bases de données observées, analysées et prévues et les bases de données des produits élaborés.
Le système DIAPASON exécute quotidiennement 9000 tâches qui contribuent à la mise à dispositions des produits sur les serveurs SYNERGIE/PIC etc…
Configuration :
HEWLETT PACKARD
14 processeurs et 2 téra octets de disques.
Cluster LINUX de production
Serveur SYNERGIE
Serveurs de données climatologiques CLIMSOL (Cluster LINUX)
Le projet SOPRANO est en cours pour assurer la relève de DIAPASON.
La modélisation du temps nécessite l’utilisation de systèmes de calcul très puissants. Depuis plus d’une décennie Météo France se dote des moyens informatiques de calcul parmi les plus rapides. Elle s’est successivement équipée d’un supercalculateur de type CRAY 2 à la fin des années 80, d’un CRAY C90 au début des années 90 et d’un VPP5000 FUJITSU depuis 1998.
La configuration actuelle repose sur 2 VPP5000, d’architecture vectorielle, qui disposent :
de 64 processeurs pour la partie Recherche et Développement
de 60 processeurs pour la partie opérationnelle (chaîne de prévision numérique) soit une puissance totale de 1,2 téraflops ( soit 1200 milliards d’opérations par seconde)
(1 giga=109 1 téra=1012)
Combien cela coûte ? En 2004, redevance annuelle pour la machine : 2,6 M euros.
Puissances électrique consommée : 160KVA sur onduleur (+ groupe électrogène de secours).
Les résultats des modèles opérationnels et des expériences des chercheurs, issus des supercalculateurs, sont archivés. Le dimensionnement des systèmes d’archivage est directement lié à la puissance de calcul des supercalculateurs.
Le système d’ARCHIVAGE se compose d’un serveur de fichiers (configuration Origine 3000 de SGI) et d’espaces de stockage hiérarchisés :
Sur disques rapides : 25 To (25000 milliards d’octets)
Sur disques capacitifs lents : 90To (90000 milliards d’octets)
Sur cartouches magnétiques.
Les cartouches sont gérées automatiquement et stockées dans des robots (bibliothèques Storagetek) contenant 12000 cartouches magnétiques. Le potentiel d’archive disponible en ligne est de l’ordre de 500 To (500000 milliards d’octets).
Pour mémoire 1 cartouche a une capacité de 20 Go à 400 Go suivant la technologie utilisée.
Le système est adapté pour absorber des flux de données supérieur à 2 To/jour.
Les systèmes de sauvegarde
Le système a un potentiel de 60 To.
L’architecture s’appuie sur un serveur (SUN880 SUNFIRE) et 2 librairies STK.
Prés de 200 stations serveurs sont sauvegardées périodiquement. Automatiquement sont effectuées tous les week-end des sauvegardes globales pour un volume de 6 To et toutes les nuits des sauvegardes incrémentales. La rétention est respectivement de 3 mois et 1 mois.
Un appel d’offres est en cours pour changer les supercalculateurs (*).
Qu’est il demandé ? :
- dans un premier temps de multiplier la puissance par 4 au minimum, soit 5 téraflops (5000 mille milliards d’opérations à la seconde).
Il ne s’agit plus de calculateur avec une unité centrale comme autrefois, mais d’un ensemble de processeurs connectés entre eux.
Le système d’archivage a été monté en niveau en conséquence.
- dans un deuxième temps en 2008/2009 il est prévu de multiplier la puissance par huit au minimum. Les calculateurs permettant cette puissance de calcul ne sont pas opérationnels, ils sont encore en étude. Mais la technologie avançant il seront prêts en 2008. Des constructeurs annoncent des possibilités de puissance de calcul de 31 téraflops pour 2008 soit 31000 milliards d’opérations à la seconde.
Avec une telle puissance de calcul le système d’archivage sera à revoir.
A remarquer que contrairement à ce que l’on pourrait penser ces calculateurs sont de volume important et nécessitent un environnement exigeant. Ils sont refroidis par air et eau, ils demandent une importante source d’énergie. L’infrastructure technique sera à revoir.
Cette visite très intéressante nous a permis de constater que la technique évolue toujours très rapidement. Ces nouvelles perspectives d’augmentation du potentiel de calcul du Centre de Toulouse devraient permettre à Météo-France de pouvoir continuer à jouer dans la « Cour des Grands ».
(*)Le 28 avril 2006 le Conseil d’Administration de Météo
France a entériné le choix des nouveaux calculateurs. Celui-ci s’est porté
vers des calculateurs NEC.
Il s’agit de deux clusters, un pour la recherche, l’autre pour l’opérationnel.
Un cluster est un ensemble de CPU (Central Processeur Unit), autrement dit un
ensemble de calculateurs. L’architecture d’un cluster est basée sur des nœuds
de processeurs vectoriels.
Il y a par cluster :
16 nœuds et 8 CPU par nœuds soit 128 CPU de 35,2 gigaflops chacun.
2 téra octets de mémoire, 256 téra octets de disque, 36 téra octets de
disque partagé.
L’implantation s’effectuera en 2 phases. La première
phase sera opérationnelle au printemps 2007, le facteur de gain annoncé sera
de 5,3 par rapport à la situation actuelle. La deuxième phase correspondra au
renforcement de la première phase, elle commencera en octobre 2008, le gain
annoncé est de 21,3.
Pour une description plus détaillée, attendons une prochaine visite du centre
de calcul !
Francis DUTARTRE