Extracteur images wetter3.de

Ok, j'ai donc un extracteur de données locales de météo en allant me connecter sur Dayer.biz.

Je souhaite à présent pouvoir corréler ces relevés avec des cartes et analyses disponibles sur le net. Pour cela j'envisage l'utilisation du site wetter3.de. L'avantage du site est la mise à disposition régulière de cartes calculées par un modele de prévisions. Les données sont très complétes et seraient intéressantes à conserver. Plusieurs points cependant :

• Les cartes seront à conserver sur FS pour ne pas charger la DB
• Les références de la cartes seront stockées dans la DB cirrus. L'idée est de créer un lien physique sur le fichier image qui correspond sur FS
• Il existe 34 cartes différentes. Je pense qu'il est nécessaires de gérer une table pour la nomenclature de ces cartes. Cela permettra des sélections précises par la suite. 
• Les cartes sont accessibles par simple lien HTML, il me faut donc un extracteur pour récupérer ces fichiers
• Les formats de cartes sont essentiellement du GIF
• Les cartes sont calculées tous les jours. Les prévisions étant sur trois jours, on risque d'avoir de la redondance dans les cartes stockées. La régle consiste à garder les cartes les plus à jour quitte à écraser d'anciennes version
• Les cartes seront conservées dans une structure de répertoire faisant ressortir le formalisme "yyyy-mm-dd". On organise les cartes par rapport à la date qu'elle couvre, et non pas en fonction de la date de simulation.

Les accès aux cartes se font sur le lien suivant :

http://www2.wetter3.de/Animation_06_UTC

J'en conclu qu'il existe un batch journalier de simulation pour fournir les cartes UTC 06. Le download devra tenir compte de cette heure (minuit?)

La construction des noms des cartes se fait de la façon suivante :

<time>_<family>.gif

• <time> représente l'heure de simulation par rapport à la date de référence à l'heure UTC 06. Les prévisions sont faites à 180 heures.
• <family> est un index qui permet de déterminer à quel type de carte on a affaire.
• La génération des noms de cartes respecte toujours cette règle et peut de ce fait être automatiser (cela nous évite de coder un crawler / extracteur HTML pour le traitement)

Il faut tenir compte de l'heure de simulation et la date de référence pour pouvoir transmettre les fichiers récupérés dans les bons répertoires de destinations. Cela nécessite de changer le formalisme du nom sur FS pour obtenir une forme du type :

<time>_<family>.gif

Mais ici <time> sera une valeur comprise dans l'interval des valeurs [0,6,12,18], ce qui permet de régler en partie les problémes de doublons lors du download.

L'extracteur sera écrit en Perl. Il doit permettre de :

- Spécifier le lien du site de download

- Spécifier la racine de la structure de stockage

- Gérer la gestion de doublons

- Tenir des journaux à jours pour le suivi des actions et des erreurs

- Le traitement devra impérativement être démarré une fois par jour car wetter3.de ne gère par d'archives!