TUTO Alimenter une BD et créer des graphiques interactifs

[jturlier]

il charge les donnée et puis plante

Salut Michel
Tu as les premières lignes détail de l’exception qui monte ?

[Micharnaud]

le log ce ferme simplement

[paaubert]

Salut Jean

J'était absent cet après-midi pour raison professionnelle, mais j'ai passé ton dernier fichier à un utilisateur de Xnet et ......... NICKEL....ça fonctionne
Le résultat http://boulletpascal.fr/journalier2014.php bon il a repris un fichier de ce matin, mais ça fonctionne

Je vais mettre à dispo ta dernière archive ici et sur mon forum, avec ton autorisation évidement

Merci et A+

Ps: Bonne fin de vacances, même si c'est un pléonasme pour un retraité

[jturlier]

Pierre-André,
Pas de problème pour mettre à disposition, (tu ôteras les sous-répertoires des compilations antérieures avant de compresser pour mettre en ligne) Il faudrait demander à Pascal (ou à tout autre utilisateur auquel tu as passé le programme) de bien vérifier qu'il n'y a pas d'anomalies auparavant.
Le second point sera de spécifier que bien qu'apparaissant dans le menu des stations disponibles, le traitement de Cumulus ne fonctionne pas (il y a 2 toutes petites journées de travail, mais sans pléonasme, les retraités prennent aussi des vacances. La seule chose qui me chagrine, c'est que toi tu ne cotises même pas pour moi ... tu peux cependant continuer de faire des virements sur mon compte à UBS, mais ne te trompe pas, ce n'est pas au nom de Cahuzac ).

Je passe maintenant en QRT jusqu'à la fin du mois, mais je surveillerai le forum d'un oeil, sur les transats de la piscine

A bientôt et bonnes vacances aux juillettistes (je serai aussi en vacance en août ! )

Jean

[paaubert]

Zut, le payement ne passe pas, je ne dois pas avoir la dernière version de ton numéro de compte.

Par contre la version de Data2SQL pour Xnet est dispo ici
http://www.boock.ch/meteo/sauv-donnees/ ... 7-2014.zip

Je l'ai testée et elle fonctionne, mais je n'ai pas contrôlé toutes les valeurs dans BDD

Bonne soirée.

PS: a défaut de transat, je vais retrouver ma chaise de bureau, c'est bien moins cool

[Micharnaud]

je vais prendre cette version et voir de mon coté ci tout marche
Bonne vacance Jean

[Micharnaud]

je ne parviens pas a télécharger plus vite que une ligne par seconde saut si je sélectionne Microsoft ODBC mais la les table ne ce crée pas merci de votre aide

[JP54]

Ca charge également une ligne par seconde pour moi, je ne pense pas que ça puisse aller beaucoup plus vite

[jturlier]

Ca charge également une ligne par seconde pour moi, je ne pense pas que ça puisse aller beaucoup plus vite

Bonjour,
cette vitesse sur un site distant est à peu près normale car pour chaque enregistrement il y a environ une quinzaine de requêtes vers les tables. Même si les volumes de données ne sont pas important à chaque fois, la vitesse de ligne et la charge du serveur MySQL impactent significativement ces performances.

Sur un site local, en utilisant une machine plutôt rapide (indice performance Windows 7.8 pour processeur, mémoire et disques) avec de la mémoire, des disques physiques différents, en optimisant un peu MySQL et en effectuant une maintenance régulière de la base de données je tourne avec une table de 410000 enregistrements à 240 enregistrements par minute (données de Michel Arnaud pour xnet, de Michel Valin (Boucher) pour Cumulus et de Pidou pour la VP2 ainsi que quelques autres...).

Cette lenteur n'est gênante que dans le chargement initial, car ensuite l'alimentation se fera ligne par ligne en fonction du pas des stations.
A ce propos, il est recommandé de ne pas utiliser un pas inférieur à 5 minutes : à chaque nouvel enregistrement, le programme doit relire entièrement le fichier source jusqu'à la dernière ligne, se connecter à la base de données et faire les différents calculs. Dans le cas d'une machine peu rapide, avec peu de mémoire, il est probable qu'un jour ou l'autre on ait une mauvaise surprise !

L'optimisation se fait sur le fichier my.ini. Il est impératif de ne pas oublier de dé-commenter les lignes concernant innodb dans ce fichier et régler la taille des différents paramètres pour avoir un serveur suceptible de gérer des tables de taille moyenne à grande. J'ai de mon côté essayé de structurer les tables de façon à optimiser leur utilisation pour éviter les requêtes imbriquées et autre joints.

Bonne journée à tous

Jean

[Micharnaud]

clair et net comme dab merci

[JP54]

En effet, c'est trés clair.
Jean tu dis: " il est recommandé de ne pas utiliser un pas inférieur à 5 minutes ....... il est probable qu'un jour ou l'autre on ait une mauvaise surprise !"
Qu'entends tu par mauvaise surprise, car tu le sais j'ai un pas d'une minute

[paaubert]

Bonjour,
+1 Pierre-André,

ma base de données contient sur une seule année plus de 100000 ligne est-ce que c'est normal ?

100k enregistrements dans une table, c'est vraiment une minuscule petite chose ! Quand tu auras 5G enregistrements, ça deviendra une taille moyenne. Il te reste encore 50 ans avant d'y arriver !


Bonne journée

Jean

Ça veut dire que toi, il ne te reste plus que dix ans à vivre avec ta BDD

100k enregistrements dans une table, c'est vraiment une minuscule petite chose ! Quand tu auras 5G enregistrements, ça deviendra une taille moyenne. Il te reste encore 50 ans avant d'y arriver !

Merde, avec un rapide calcul, j’aurai 98 ans, je vais devoir faire comment à ce moment là ?

Tu seras comme moi, soit tu sucreras les fraises, soit tu mangeras les pissenlits par la racine Et moi je serai presqu'à l'age de Jeanne Calment à 3 ans près !

Bonne journée

Jean

Donc tu boufferas les pissenlits par la racine avant nous

[jturlier]

donc tu boufferas les pissenlits par la racine avant nous

Salut Pierre-André,

Inch Allah !
(Il eut fallu dire "Si Dieu le veut", mais j'essaie maintenant, pour les années qui me restent, de m'intégrer dans cette nouvelle société multi-culturelle, en parlant le langage du peuple !)

Pour en revenir au sujet du post, si quelqu'un a une station qui sort ses données dans un mode exotique, c'est le moment ou jamais de le dire !
J'attends que les gens Davis me donnent la structure du fichier pour la Vue, j'ai eu un message d'attente sur le sujet.

Bonne journée

Jean

[jturlier]

Qu'entends tu par mauvaise surprise, car tu le sais j'ai un pas d'une minute

Salut JP,
mauvaise idée, mais tu le sais on en a déjà parlé !!!

la mauvaise surprise, si tu as une machine un peu faible en taille mémoire, et avec un XP ou un Vista, serait liée à un problème de Swap de la mémoire active.
Cependant, le programme se retrouvera ensuite dans la même situation que pour un chargement initial et devrait s'en sortir quitte à le forcer à redémarrer. Aucun risque de perte de données puisqu'elles sont dans ton fichier source... en principe !!! mais à coup sûr une intervention manuelle.

Bonne journée


Jean

[jturlier]

Re-bonjour à tous,

je voudrais essayer de voir s'il est possible avec les serveurs MySQL ou Postgresql mutualisés, comme il semble y en avoir de plus en plus, s'il existe une solution pour les utiliser puisqu'ils n'autorisent pas les accès extérieurs.
Pour ce faire, si quelqu'un peut me dire s'il est possible, à partir du compte sur lequel il remonte ses données par FTP, de charger un fichier requête .SQL sur le serveur MySQL. (sans utiliser PHPMySQL) Cette information doit pouvoir être fournie par l'hébergeur.
Merci d'avance.

Jean