Incident Equinix St Denis du 20 Dec 2009

Publié le 20 décembre 2009, par Hegerys

Résumé de la situation

Nous tenons à vous informer qu’après le retour du courant dans nos suites dans le datacenter Equinix, dès
20h30 hier, nos équipes ont travaillé jusqu’à 06h du matin afin d’effectuer un rétablissement global
des serveurs dont la coupure a provoqué un défaut (matériel ou logiciel).

Vous trouverez ci-dessous un complément d’information :

L’incident :

Equinix semble avoir rencontré un soucis avec leurs chaines d’onduleurs, les forçant à contourner ces derniers manuellement pour se mettre en Bypass.
Plus d’infos seront publiées une fois que nous aurons reçu le rapport définitif d’Equinix.
Consultez cette page régulièrement pour être tenu au courant des informations liées à cet incident.

Le rétablissement :

Pour de nombreux clients, il a fallu :

attendre la fin d’un fsck (une vérification du disque et du système de fichiers)
rétablir de la réplication MySQL
réparer des bases/tables MySQL

Pour certains clients, il a fallu :

changer des disques dans des raid défectueux, puis attendre la fin de la reconstruction
changer certaines pièces HS (alimentations, disques durs, CPU, carte mère)
restaurer des backups

Le rétablissement total et définitif a eu lieu aux alentours de 6h du matin pour les derniers clients.

Et après ?

Conformément à nos conditions générales de vente, nous allons procéder au décompte des SLA qui seront versés au clients.
Un courrier sera adressé individuellement au plus vite, et les clients seront contactés au cas par cas.

Historique

20/12 20h45

Equinix : « tout est désormais en fonctionnement normal, nous recherchons les causes de l’incident, les informations supplémentaires seront communiqués par email ».

20/12 20h30

Le courant semble être revenu, les routeurs « pinguent », les machines reviennent petit à petit.

20/12 20h25

Toujours pas de courant, de notre coté des techniciens arrivent en renfort pour être prêts à gérer « l’après incident ».

20/12 20h05

Equinix joignable : la situation devrait évoluer dans les 15 minutes.

20/12 19h25

Un de nos techniciens croise sur place des techniciens Equinix qui sont déjà sur l’incident. Pas plus d’informations à ce stade.

20/12 19h15

Une panne à été constatée à Equinix St-Denis PA2. Impossible de joindre Equinix.

Références externes

Des informations sont disponibles sur :