Jump to content
sbs

Incident du 5 octobre 2019

Recommended Posts

Bonjour,

 

Un petit feedback sur l'incident d'hier. Il s'est produit des choses bizarres avec la météo, et on a perdu au moins une vac hier matin à 10h20 GMT.

 

Il y a eu une combinaison d'anomalies.

 

1/ On a atteint la limite de nombre de connexions à la base de données à ce moment là et le moteur n'a pas pu s'exécuter. Du coup tous les bateaux ont une droit à une vac double lors de la vac suivante.

2/ J'ai lu sur le comptoir que la météo avait fait des truc bizarres, comme si la maj avait été supprimée puis remise en route. Je n'ai pas d'info sur ce point ( et les logs sont partis lors de la mise à jour suivante)

3/ J'ai vu dans les logs des erreurs bizarres, comme si une partie des fichiers du serveur avait disparu (oui je sais dit comme ça ça fait peur). Ca a été passager, mais clairement il y a des gens dont les requêtes ont échoué, faute de librairie pour le calcul de météo.

 

Pour le point 1, la cause, est la mise à jour qu'on a fait en Septembre ou certains paramètres ont été modifiés. En particulier le nombre max de connexions simultanées à la base qui est passé de 400 à 151. J'ai remis le serveur à 400 connexion. Et pour le moment la max de connexion simultanées enregistrés est de 152 ( :yikes: ), soit juste assez pour nous planter avec le réglage par défaut.... On verra lors des prochains départ à combien on monte pour éventuellement ajuster ce nombre.

 

Pour les point 2 et 3, je n'ai pas d'élément tangible formel, mais il est possible que le point 2 soit une conséquence du point n°3, ou que les deux soient la conséquence du point n°1.

 

Pour le point n°3, j'ai demandé à FM, notre généreux fournisseur de machines de jeux, s'il avait des traces de son coté sur le serveur qui héberge notre serveur. Mais étant en week-end il n'a pas eu plus d'infos que ça à me fournir, mais à priori pas d'alerte particulière.

 

On va surveiller ça, dans les jours qui viennent.

 

++

  • Thanks 1

Share this post


Link to post

merci pour le feedback :up: 

Share this post


Link to post

merci sbs pour tout le boulot.

Share this post


Link to post

@sbs, merci pour les infos; çà rassure. :wink:

Share this post


Link to post

@sbs je ne sais pas si tu as vu le post d' @uboot2935 sur le comptoir a 11:32 UTC mais il a connu un pbm de synchro a ce moment la sur qt .. 

j’étais pas derrière mon écran a ce moment la.

Tes logs disent quoi ?  

Share this post


Link to post

Bonsoir, 

 

Non je n'avais pas vu, mais en contrôlant les logs, j'ai constaté qu'on avait encore raté une vac. Celle de 11h25. Encore pour la raison de Nombre Max de connexions. Et en vérifiant le serveur, je vois que le nombre max de connexion est encore à 151....

 

Je ne sais pas ce que j'ai fumé hier. Donc j'ai relancé le serveur avec le fichier de conf préparé hier. Et on est bien revenu à 400 connexions max. 

 

Faites moi signe sur ce fil, si vous observez des choses pas normales dans le déroulement des courses.

 

Share this post


Link to post
Le 06/10/2019 à 10:23, sbs a dit :

Pour le point 1, la cause, est la mise à jour qu'on a fait en Septembre ou certains paramètres ont été modifiés. En particulier le nombre max de connexions simultanées à la base qui est passé de 400 à 151. J'ai remis le serveur à 400 connexion. Et pour le moment la max de connexion simultanées enregistrés est de 152 ( :yikes: ), soit juste assez pour nous planter avec le réglage par défaut.... On verra lors des prochains départ à combien on monte pour éventuellement ajuster ce nombre.

 

:mousq:  Merci Sbs pour ton dévouement !   :yes:

 

Méeeeeheeuuu ! Comment cela va t'il se passer pour le Vent des Globes quant on est 2000 au départ ?!?

 

:ko:  :grt:  :tapl:  ................................... :shake:

Share this post


Link to post
Il y a 1 heure, grandfrère a dit :

Méeeeeheeuuu ! Comment cela va t'il se passer pour le Vent des Globes quant on est 2000 au départ ?!?

On va faire appel au Professeur Shadoko ! :lool:

 

Share this post


Link to post

@grandfrère ce n'est pas du tout une question anecdotique que tu poses là. Et je suis donc en train de regarder les réglages à appliquer, ainsi que l'impact sur les performances. SI on est 2000 lors du prochain VDG (ce qui serait bien), on trouvera un moyen de gérer ça....

 

Le moteur se traîne royalement avec les nouveaux paramètres, mais on n'a à priori pas perdu de vac aujourd'hui malgré un petit pic au dessus de 151 connexion cet après midi : 

| Max_used_connections                          | 158                 |
| Max_used_connections_time                     | 2019-10-07 16:22:01 |

Donc ce qui concerne le nombre de connexions simultanées, ça passe et on a encore de la marge.

 

Dans les semaines à vernir, entre tour de corse, middle sea, kawa, on aura peut-être à nouveau ~600 boats à calculer toutes les 5 minutes, on verra comment ça se déroule.

 

++

Share this post


Link to post

Après ajustement de quelques paramètres hier soir, on ne se traîne plus.

 

On devrait, assez rapidement pouvoir clore ce sujet pour retourner au bar.... :)

 

++

Share this post


Link to post

Peut être rien d'anormal mais depuis quelques jours les fichiers grib sont plus légers. ( < 30 Mo au lieu des 32/33 Mo habituel) et hier soir lors de la tombée du grib partiel, le curseur sur qt est passé rouge  (grib obsolète) lorsque le "petit" faisait 3.2 Mo en lieu et place de 4 Mo. 

Jamais arrivé auparavant, c'est la première fois que je remarque cela.  

Share this post


Link to post

Salut @Logeo80

 

Je viens de jeter un oeil aux fichiers gribs et à leur taille. Et ils ne semblent pas anormalement différents.

-rw-r--r--  1 vlm vlm      32529378 Oct  8 09:49 gfs_NOAA-2019100806.grb
-rw-r--r--  1 vlm vlm      32594358 Oct  8 16:03 gfs_NOAA-2019100812.grb
-rw-r--r--  1 vlm vlm      32464398 Oct  8 22:06 gfs_NOAA-2019100818.grb
-rw-r--r--  1 vlm vlm      32334438 Oct  9 04:03 gfs_NOAA-2019100900.grb

En regardant dans l'historique, on constate que la tendance est à une croissance lente et assez régulière de la taille des fichiers, avec quelques "trous", dont le 8/10 ou les fichiers sont plus petits.

 

Comme les fichiers sont compressés, il doit y avoir des cas ou la compression a un effet plus significatifs et fabrique des fichiers plus petits. Mais il n'y a (à priori), pas eu de manque dans les fichiers météo.

 

++

Share this post


Link to post

@sbs ok :up: ... c’était pour chasser un doute :beer: 

 

Share this post


Link to post

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue.