C’est une bien drôle de nouvelle que vient d’annoncer Ryan King, ingénieur de Twitter. En effet, Twitter est en pleine migration de ses bases de données MySQL vers le système cassandra. Ce dernier a la particularité de ne pas utiliser le langage SQL et son intérêt principal est de gérer de grandes quantités de données distribuées, à la manière d’un cluster de serveurs. Ce qui s’adapte complétement à l’architecture du réseau social de microblogging.

Alors oui vous avez bien compris, Twitter change radicalement sa méthode d’accès aux données. En effet, Ryan King explique que MySQL coûtait cher à Twitter : « Mais celui-ci finissait par coûter horriblement cher en main-d’œuvre. Nous avions besoin d’un système qui puisse rapidement monter en charge, tout en restant hautement disponible et sans nécessiter autant d’interventions humaines ». Du coup Twitter est parti à la recherche d’un système performant qui lui coûterait moins cher à maintenir.

Twitter  a donc tester les solutions comme HBase, Voldemort, MongoDB, MemcacheDB, Redis, Hypertable et Cassandra. C’est cette solution qui a été retenu après un test grandeur nature sur 100 To de données et 150 machines ce qui a séduit Twitter. Ryan explique ce choix en trois raisons majeurs :

• Cassandra n’a pas de « point individuel de défaillance »
• elle monte rapidement en charge en écriture : idéal pour l’augmentation des tweets
• la communauté open source qui gravite autour de cette base est riche et productive

Le projet Cassandra a été récupéré par Apache qui vient de le propulser dans les projets les plus urgents. Il a été créer par Facebook qui l’a ouvert au monde de l’open source en 1998 2008. Ce que Ryan King ne précise pas c’est que ce système ne dispose pas de système de restauration, encore moins de migration. Cependant normalement ce système n’a pas besoin d’être implémenté puisque Cassandra est capable de répliquer les données sur différents nodes pour ainsi les reconstruire en cas de pertes (un peu comme le système RAID5).

Cassandra peut paraître comme un projet en développement mais il est adopté par de grands noms. On retrouve entre autre Facebook, Digg et plus récemment Twitter. Le projet est encore en cours d’amélioration mais semble assez stable et assez bien documenté pour être mis en place en production. Personnellement je ne connaissais pas du tout ce projet.

Twitter devrait donc entrer dans une phase de migration de ses bases de données et doit commencer par la table la plus importante, celle des statuts. Nous verrons si ce système améliore la continuité de service puisque PingDom estime que Twitter a été indisponible pendant 23 heures et 45 minutes en 2009.

Source : 01net Pro