Probléme de récupération de données

Nico080 · Message par **Nico080** » ven. août 03, 2007 8:31 am

Salut à tous

Depuis hier, Graphweather ne récupére plus les données de Virtual Weather Station...

Pourtant tout fonctionne comme il faut sur Virtual W.S et je n'ai rien changé au paramétre que se soit dans les 2 logiciels.

Pouvez-vous m'aider ?

Regardez ce que cela donne sur mon site : http://meteo-courcouronnes-91.info

Message par **TiToine** » ven. août 03, 2007 11:13 am

C'est drole ca coupe juste à 21h. Est-ce que ton fichier CSV est énorme ?

Nico080 · Message par **Nico080** » ven. août 03, 2007 2:29 pm

TiToine a écrit :C'est drole ca coupe juste à 21h. Est-ce que ton fichier CSV est énorme ?

Comment çà ? Dbase.CSV fait 12 750 Ko et 2007dbase fait 111 501 Ko.

A noter que quand je démarre Graphweather, il se met automatiquement à la date du 06 fevrier 2106...

Je tiens une piste ?

Et quand je lui demande de me tracer la période d'aujourd'hui il me met en 1970...

Nico080 · Message par **Nico080** » ven. août 03, 2007 9:34 pm

Je voulais aussi signaler une coupure de courant hier vers 21 heures par chez moi... C'est peut-être la cause de se disfonctionement ?

Message par **TiToine** » ven. août 03, 2007 10:41 pm

Je ne sais pas trop si c'est la cause mais drole de coincidence.
Tu es sur que ton fichier 2007dbase fait 111 501 Ko = 111 Mo ???
Si oui c'est définitivement trop gros, tes graphiques doivent mettre du temps a être générer.
Dans ton fichier 2007dbase il y a bien les enregistrements d'après 21h ?

Nico080 · Message par **Nico080** » sam. août 04, 2007 12:32 am

TiToine a écrit :Je ne sais pas trop si c'est la cause mais drole de coincidence.
Tu es sur que ton fichier 2007dbase fait 111 501 Ko = 111 Mo ???
Si oui c'est définitivement trop gros, tes graphiques doivent mettre du temps a être générer.
Dans ton fichier 2007dbase il y a bien les enregistrements d'après 21h ?

J'ai essaté de l'ouvrir mais aprés 3 minutes, il me met toujours : traitement en cours !

Message par **TiToine** » sam. août 04, 2007 1:04 am

Il y a trop de données, surtout que le csv est en acces sequentiel, on est obligé de lire depuis le debut a chaque fois. Pour avoir le dernier enregistrement il faut se taper les 111 Mo...

Tu n'avais pas de problemes avant ca ?

Nico080 · Message par **Nico080** » sam. août 04, 2007 10:11 am

TiToine a écrit :Il y a trop de données, surtout que le csv est en acces sequentiel, on est obligé de lire depuis le debut a chaque fois. Pour avoir le dernier enregistrement il faut se taper les 111 Mo...

Tu n'avais pas de problemes avant ca ?

Non aucun probléme, sauf durant les 7 derniers jours, car les données avaient du mal à se transférer sur le site et par moment la fiche REPORT que j'ai en page d'accueil s'affichait comme actuellement.

Et quand je voulais stoper le transfer FTP (quand rien ne transférer), le logiciel bug et je devais faire CTRL+ALT+SUPPR puis fin de tache pour fermer sans probléme Graphweather.

jturlier · Message par **jturlier** » sam. août 04, 2007 12:10 pm

Bonjour Antoine et Nico
Je viens de regarder la taille de mes fichiers dbase(10Mo) et dbase2007(24Mo). La mise à jour est faite toutes les 10mn. Cela fait une différence énorme !
Je ne traite pas ces fichiers avec GW : ils alimentent une base mysql pour avoir des temps d'accès très courts.
Nico quel est l'intervalle de mise à jour des données de ta station ?

Message par **TiToine** » sam. août 04, 2007 1:02 pm

Moi je pense que c'est la taille de ton fichier qui est trop gros, c'est beaucoup trop de données a traiter. Il faudrait que tu découpes ce fichier en plusieurs fichiers mois en les nommant AAAA_MM.csv .
Ca va soulager GraphWeather qui va aller chercher le mois qui convient (si tu actives l'option "Assemblage virtuel..." du plugin CSV).

jturlier · Message par **jturlier** » sam. août 04, 2007 4:10 pm

Antoine, VWS crée des fichiers csv par jour, est-il possible d'activer l'assemblage virtuel sur ce type de fichier AAMMJJ.csv ?

Message par **TiToine** » sam. août 04, 2007 4:27 pm

Non ca n'est pas possible, pour l'instant GraphWeather ne reconnait que le format AAAA_MM.csv pour l'assemblage.

Nico080 · Message par **Nico080** » sam. août 04, 2007 7:28 pm

TiToine a écrit :Il faudrait que tu découpes ce fichier en plusieurs fichiers mois en les nommant AAAA_MM.csv .
Ca va soulager GraphWeather qui va aller chercher le mois qui convient (si tu actives l'option "Assemblage virtuel..." du plugin CSV).

Mais pourquoi du jour au lendemain le probléme s'est crée ?
Sinon comment fait-on pour découper le fichier ? Ce n'est pas que je suis novice en informatique mais j'ai un peu de mal des fois

Jturlier a écrit :Nico quel est l'intervalle de mise à jour des données de ta station ?

Heu l'intervalle de transfer vers mon site ? Si oui c'est toute les 2 minutes pour la feuille de style REPORT et 30 minutes pour les autres.

Pour ce qui est du transfert des données entre VWS et Graphweather, j'ai mis en MISE A JOUR AUTOMATIQUE.

Message par **TiToine** » sam. août 04, 2007 9:40 pm

Mais pourquoi du jour au lendemain le probléme s'est crée ?
Sinon comment fait-on pour découper le fichier ? Ce n'est pas que je suis novice en informatique mais j'ai un peu de mal des fois

C'est possible qu'il y ait un dépassement de capacité dans une des variables. A partir d'un certain volume le phénomène se produit...

Disons que tu pourrais essayer d'éditer ton fichier (tout est en clair dedans) et faire un copier coller des lignes qui représentent le mois en cours (a la fin du fichier) dans un nouveau fichier 2007_08.csv . Tu indiques ce fichier à GW pour voir si tu obtiens déjà les courbes de ses jours ci.

Nico080 · Message par **Nico080** » dim. août 05, 2007 12:10 am

Enfaite le probléme est sur les fichiers "dbase", donc pas sur Graphweather.

En fait, la coupure de courant a du avoir lieu quand VWS écrivait sur le fichier DBASE, ce qui expliquerait le probléme ?!

Je vais donc désinstaller VWS puis le remettre

! J'ai rien à perdre.