problème dans ajout de fichiers source

[stephrac74]

Hello

J'utilise la version 3.06 mais j'avais le problème dans la version précédente.
Je coupe mes fichiers customextout.txt provenant de weatherdisplay tous les 6 mois car ils deviennent gros (entre 25 et 40 Mo). Ensuite j'ajoute le semestre comme fichier source. Ainsi WeatherDisplay travaille avec un fichier semestre courant plus petit.
Or sous GW, parfois je fais ajouter le fichier et il revient à l'écran précédent sans l'insérer dans la liste. Essayé également de l'ajouter dans le fichier config mais idem. Il n'apparait pas (et les data non plus)
Par exemple j'essaie de mettre
2010_sem2.txt
2011_sem1.txt
customextout.txt

je peux mettre les 2 premiers mais pas le 3e, mais si je retire 2011_sem1 alors je peux mettre custom... mais plus 2011 !!!
incompréhensible. Idem pour d'autres combinaisons (j'ai des semestre depuis 2009)

Quelles sont les causes possibles pour ce problème ?


Merci
Stéphane

[stephrac74]

re,

Bon je viens de passer la soirée sur le problème sans parvenir à le résoudre mais voici quelques constatations

Le problème vient du fichier customextout.txt

S'il contient toutes les données depuis le début de l'année et que j'ajoute ce fichier seul, cela fonctionne.
Si maintenant je le coupe en deux ou si je lui soustrait une partie des données, cela ne fonctionne plus !
Incompréhensible pour moi...
J'ai même essayé de mettre que quelques lignes de data et impossible il ne veut pas le fichier voire GW plante complètement
je me demande si ce ne serait pas un problème de chargement des données en mémoire... un truc qui ne serait pas supprimé ou raffraichi lorsque l'on modifie le fichier...
Pourtant tenté le reboot PC sans succès non plus !
J'ai pourtant fait ça dans les versions précédentes de GW alors y a t il une modification sur la gestion des fichiers sources dans le 3.06 ?

Stéphane

[jturlier]

Bonsoir,
as-tu réessayé avec la 3.0.8 ?
as-tu aussi essayé en mettant tout simplement *.txt (à condition naturellement de ne pas avoir d'autres fichiers txt dans ton répertoire) car GW accepte les wildcards
Jean

[stephrac74]

bonsoir et merci pour la réponse. Non pas essayé la 3.08. En fait pas vu qu'elle était sortie ayant chargé la 3.06 il y a 10 jours environ
j'ai bcp de txt dans le répertoire mais je vais pour faire l'essai tester le wildcard car j'ignorais que cela fonctionnait !

Merci du tuyeau
Stéphane

[stephrac74]

Bonsoir

La 3.09 n'a rien résolu mais j'ai trouvé l'origine du problème.

Sous Weather Display, j'ai ajouté deux nouvelles sondes ce qui génère deux nouvelles colonnes dans le CSV. La config de la DLL est faite en conséquence pour ajouter ces deux sondes (température) mais visiblement ça perturbe GW.
Chose curieuse, j'ai déjà fait cette opération d'ajouter des capteurs en cours de route il y a environ 2 ans et sans problème

Quelqu'un a une idée ?

Stéphane

[stephrac74]

Bonjour,

J'ai finalement pu isoler que le problème se situe dans les dates.

Dans mon fichier log, j'ai des dates erronées. Par exemple, une date qui est inférieure à la ligne précédente. Surement qu'en cas de pb de comm, WeatherDisplay réécrit la ligne ou autre.
Du coup j'ai parfois des dates genre
14;9;11;07;23 (14/9/11, 07:23)
14;9;11;07;24
14;9;11;07;23
14;9;11;07;24
14:9:11:07:25

Il y a aussi parfois des trous durant lesquels je n'ai pas de data... Ca dure parfois 10-15mn. Possible que cela soit des coupures de courant mais je ne pourrais le jurer bien que cela semble suspicieux puisque j'ai un onduleur qui coupe le PC après 5mn d'absence d'elec et que le journal de l'onduleur ne me donne pas autant d'incidents.

Si les dates reviennent en arrière ou sont erronées, GW ne sait plus où il habite. J'ai donc déjà pu isoler environ 2000 lignes erronées dans mon fichier de 360 000 lignes. et il semble qu'il y ait encore des choses pas réglées. Je cherche les bonnes clés de filtres pour isoler toutes ces lignes défectueuses. J'ai déjà pu supprimer toutes les lignes donc la date est inférieure à la date de la ligne précédente, mais il doit y avoir d'autres cas de figure qui ne plaisent pas à GW...
Analyse en cours.

Ce serait bien que GW puisse faire un test sur la date et indiquer le numéro de lignes qui ne sont pas normales et que par défaut il puisse les ignorer plutôt que de les prendre en compte sans savoir les gérer ce qui conduit à des graph complètement explosés qui ne veulent rien dire....

Stéphane

[jturlier]

Bonjour Stéphane,
ne penses-tu pas que travailler avec une minute de pas d'enregistrement ça ne fait pas beaucoup ?
La plupart d'entre nous utilisons 5 ou 10 minutes et c'est déjà pas mal, car les variations de pressions, température ou pluie (pour le vent le logiciel pilote prend le maxi sur la période) sur une minute sont non significatives. Avec 5 minutes tu ne perdrais pas d'infos et tu n'aurais plus ce problème.
Jean

[stephrac74]

Bonjour Jean,

merci pour ta réponse. Je m'étais interrogé sur la périodicité des mesures surtout par rapport à la taille du fichier log (9 mois = 45Mo), mais avant de me rendre compte hier de ce problème de date, je ne m'étais pas posé cette question concernant l'intégrité des données.

Je ne vois pas ce qui peut se passer pour qu'une période de 1 mn crée des problèmes. Dans mon log, fort heureusement, le nombre de ces problèmes reste faible au regard du nombre de données. Si le PC ne peut acquérir le contenu de la WMR200 alors en principe celle ci devrait conserver les données et lorsque le PC est disponible il devrait les rapatrier... Donc je ne m'explique pas comment je peux parfois avoir des trous de 10mn, ou encore pourquoi j'ai le cas précédemment cité (qui est le plus courant) où deux lignes de log sont répétées. Est-ce un soucis du PC trop occupé, de WeatherDisplay qui gère mal la comm avec la WMR ? Mystère....

J'envisageais de descendre à 2 minutes ce qui réduit quand même par deux la taille des données. Je souhaitais initialement conserver une bonne résolution sur l'affichage des courbes qui sont rafraichies toutes les 10mn, en particulier pour le vent. Maintenant si en effet quelque part dans la chaine un élément a du mal à suivre, il faut peut-être que je revois ça....

Est-ce que personne n'a de problème de ce genre dans ses log avec WeatherDisplay ?


Stéphane

[ardigier]

j'ai une WMR 200 et je n'utilise pas WD mais XNet
je suis comme Jean le propose sur un enregistrement toutes les 5 mn et cela me parait bien suffisant
Avec Xnet si de datalogger de la WMR garde, aprés transfert, quelques données"fantomes", xnet les reprend et vérifie que celles-ci ne sont pas déjà présentes
si tel est le cas alors Xnet les efface pour eviter le genre d'erreur que tu mentionnes

[stephrac74]

Merci pour ce retour.
J'ai utilisé une version de Xnet il y a longtemps qui ne fonctionnait pas bien. Surement que c'est devenu plus stable désormais. Je ne m'y suis jamais ré-intéressé car WeatherDisplay me sert historiquement également à calculer l'ensoleillement à partir de deux capteurs de température, et fourni dans le fichier log à la fois la valeur des radiation théorique ainsi que la valeur mesurée, directement en W/m², ce que je ne pense pas pouvoir faire avec Xnet ou GW.

Je vais essayer de rallonger la périodicité de mes mesures pour voir si cela améliore, mais je ne suis pas convaincu que cela soit WeahterDisplay qui soit le problème. Par contre la fonctionnalité de tester la cohérence des données de date sur Xnet me parait une excellente fonction.

Stéphane

[COULET]

Salut "stephrac74" !

Je suis intéressée par ta méthode de calcul des radiations solaires par deux capteurs de T°.
Comment cela marche-t-il exactement ?
Méthode d'installation ?
Est ce facile a mettre en œuvre ?

Merci pour tes conseils !

CORDIALEMENT

[Micharnaud]

je suis preneur merci

[stephrac74]

bonsoir,

Pour la mesure de radiations solaires, soit on dispose d'une station Davis avec capteur solaire, soit on utilise deux capteurs de température.
Le premier capteur est le capteur qui donne la température extérieure normale. Un second capteur est monté dans une boite noire afin que sa température monte rapidement en présence de soleil (j'ai fait des essais dans un sac poubelle noir). Il faut que le volume soit petit pour avoir une faible inertie.

Ensuite sous Weather Display, il y a quelques paramètres à configurer dans l'onglet 'capteur solaire'. D'abord ses coordonnées géographiques pour qu'il puisse calculer la valeur des radiations solaires théoriques sur le site en question (ca fait une jolie parabole sur une journée dont l'amplitude décroit lorsque l'on arrive dans les jours les plus cours.)

Ensuite on indique quel est le numéro du capteur de température utilisé pour la mesure des radiations solaires et on applique un offset et un gain pour donner le taux d’ensoleillement par rapport à la valeur théorique. Par défaut, l'offset est de 0° de différence entre les deux capteurs pour 0% d'ensoleillement, et 7.1°C pour 100%. Dans mon cas, je dois augmenter un peu cette valeur, sinon au moindre rayon de soleil, l'écart de température entre les deux capteurs fait que j'atteins les 100% immédiatement. il y a vite 10-15°C d'écart entre les deux capteurs. Du fait de la faible inertie, dès que le soleil se cache, l'écart de température redescend immédiatement (en qq dizaines de secondes) donc c'est très réactif.

Ensuite il suffit d'exporter dans le fichier log les deux valeurs (théoriques et actuelles) pour afficher une jolie courbe avec la parabole théorique (en pointillé dans mon cas) et en superposition la valeur actuelle. C'est précis et du plus bel effet. Naturellement, il conviendrait de calibrer réellement le gain et l'offset si on veut une valeur en W/m² correspondant à une installation photovoltaique. La calibration est facile si on a accès à la valeur actuelle des capteurs photovoltaiques en temps réel et en W/m². On tient alors compte du rendement de l'installation....

Pour une mairie, cela peut être utile pour promouvoir le photovoltaique en sortant les mesures réelles de radiations solaires sur une commune.... et ainsi on peut évaluer plus précisément l'amortissement de l'installation....

Malheureusement mon site ne fonctionne pas pour le moment à cause de ces problèmes de fichiers log qui me plante le tout, mais dès que c'est réparé vous pourrez voir le résultat. Je dois avouer que j'ai été étonné par la précision de fonctionnement de ce système.
Pratique pour calculer l'énergie produite par une installation photovoltaique....

++
Stéphane

[COULET]

Super !

Merci !!

Je vais essayer très vite ..
La T° du capteur de référence est bien celle du capteur extérieur (pour moi dans l'abri météo ventilé ) ?
Dans quoi exactement as-tu mis le capteur "noir" ? Boite étanche peinte en noir ? Sac plastique ?

A+

CORDIALEMENT

[stephrac74]

salut

Oui le capteur de T° externe est bien le même que j'utilise pour la T° extérieure... Pour ma part sur le mat livré avec la WMR200

Pour le capteur solaire, j'ai durant des mois mis le capteur dans un sac poubelle noir sur une table sur la terrasse... Le problème est que les sacs sont désormais UV dégradables et donc il ne tiennent pas longtemps. Et puis c'est pas terrible comme installation. C'était à défaut d'avoir le temps de faire quelque chose de plus pérène.

Donc je vais mettre ça dans une boite plastique, noire (d'origine ou peinte à condition que ca tienne les UV dans le temps). Je ne pense pas qu'il faille la faire étanche, mais plutôt un petit trou en dessous pour l'évacuation de la condensation. un petit trou ne fera pas une prise d'air changeant radicalement la température à l'intérieur de la boite.
Bref, n'importe quelle boite pas trop grosse et peinte en noire devrait faire l'affaire....

Stéphane