Incidents antérieurs

VSDB est à nouveau en fonctionnement depuis 11h heure de Paris et la réplication temps réelle a été relancée dans la foulée.

Le service VSDB du groupe 1 va être coupé pendant 1h30 environ pour remettre en route la réplication en temps réel qui est arrêté depuis l'incident avec le cluster de base de données d'hier.

Mercredi 18 janvier 2023 à 22h30 heure de Paris, nous avons réouvert l'accès au cluster GRP1 qui est revenu à la normale.

Mercredi 18 janvier 2023 à 21h45 heure de Paris, la synchronisation se poursuit sur la dernière node.

Mercredi 18 janvier 2023 à 18h heure de Paris, le cluster est tombé pendant la synchronisation. Nous avons du arrêter toutes les nodes. Les environnements GRP1 seront inaccessibles pendant plusieurs heures le temps que nous remontions correctement le cluster. Merci de votre compréhension. Aucune données n'a été perdue.

Mercredi 18 janvier 2023 à 16h00 heure de Paris, le trafic est redirigé vers un noeud disponible du cluster, la synchronisation continue. Les environnements sont utilisables à nouveau normalement.

Mercredi 18 janvier 2023 à 15h45 heure de Paris, un serveur du cluster de base de données du groupe 1 est tombé. Il est reparti et une synchronisation complète s'est lancée rendant le cluster très lent voire indisponible.

Nous allons rapidement envoyer le trafic sur un nœud disponible pour rendre le groupe utilisable.

Mercredi 18 janvier 2023 à 0h15 heure de Paris - Le cluster GRP1 est migré et en fonctionnement normal, y compris les réplications de secours et VSDB.

Mardi 17 janvier 2023 à 23h heure de Paris - Le cluster GRP4 est migré et en fonctionnement normal, y compris les réplications de secours et VSDB. GRP1 quant a lui est toujours en cours de migration, nous avons rencontré un problème sur un des serveurs et une synchronisation est nécessaire, cela rallonge sensiblement le temps nécessaire à toute l'opération. GRP1 devrait être à nouveau disponible vers 0h30 heure de Paris.

Mardi 17 janvier 2023 à 20h38 heure de Paris - Nous allons très vite couper les environnements de GRP1 et GRP4 et commencer la migration.

Le mardi 17 janvier 2023 à 20h30 heure de Paris, les environnements sur GRP1 et GRP4 seront coupés pour une durée de 3h environ. Nous effectuons une montée de version du logiciel de base de données utilisé.

Pour connaître votre groupe, vous pouvez ouvrir le popup "A propos de l'application" après avoir cliqué en haut à droite sur la photo de votre utilisateur depuis l'application.

Le service VSDB associé à GRP1 et GRP4 sera encore disponible mais la réplication en temps réel sera coupée et ne reprendra que le lendemain, mercredi 18 janvier 2023 dans la matinée.

Mise à jour au 18 janvier 2023. ZapBL ne répond pas aux demandes de l'équipe Trust & Safety qui m'indique qu'ils savent que ZapBL met beaucoup de temps à répondre. Chaque jour, Scaleway relance ZapBL sans succès jusqu'à présent. De leur expérience, cela finit pas aboutir mais ils ne savent pas évaluer le temps que cela prendra.

Depuis hier jeudi 5 janvier 2022, nos serveurs MX sont sur la blacklist ZapBL https://zapbl.net .

En réalité beaucoup d'adresses IP de notre hébergeur Scaleway sont listées à cause d'un seul serveur mal configuré, serveur qui n'a rien à voir avec Veryswing. Scaleway a été prévenu et leur équipe trust & safety est en communication avec ZapBL pour délister les adresses IP.

Cela peut impacter l'envoi des emails de nos applications, certains serveurs SMTP utilisant des systèmes antispam se basant sur plusieurs blacklist comme ZapBL.

Service a nouveau opérationnel lundi 26 décembre à 19h45 heure de Paris, le serveur a rencontré un problème de disque non activé au niveau du BIOS. La base MySQL est fonctionnelle et la réplication en temps réel est ok.

Le problème de disque a été corrigé mais le serveur ne démarre pas. Une réinstallation va peut-être être nécessaire. Nous faisons le nécessaire.

Dimanche 25 décembre à 22H heure de Paris, nous avons du couper le service VSDB du groupe 5 car le RAID ne fonctionnait plus correctement sur la partition de stockage des données. Le support Scaleway intervient en ce moment et cherche la cause, il s'agit probablement d'un disque dur hors service.