SiM07, un accro de l’informatique

Mininova, tout le monde connais aujourd’hui, c’est LE site de recherche de torrent. Mais savez-vous combien de serveurs se cache derrière ce site ? Quel type de serveur ? C’est moins impressionnant que chez Skyblog mais c’est tout aussi libre.

Pas d’apache mais du lighttpd avec php-fcgi, la base de donnée est confié à MySQL pour sa rapidité. Le système de cache est confié à XCache. La page d’accueil du site est ainsi rafraichie tous les 20 minutes. AMD et ses processeurs Opteron sont à l’honneur puisqu’il n’y a qu’un seul serveur Xeon Dual-Core pour le forum.

Graphiquement cela donne :

www.mininova.org (180 Mbps)

1x loadbalancer
1x Opteron 165 1.8Ghz Dual Core 2MB Cache
2x 1GB DDR non-ECC CL2
2x 80GB SATA 8MB

5x frontend (lighttpd, php-fcgi, 1U server with 4GB)
1x Opteron 165 1.8Ghz Dual Core 2MB Cache
4x 1GB DDR non-ECC CL2
2x 80GB SATA 8MB

1x master database (mysql, only handles inserts/updates)
2x Opteron 265 1.8Ghz FSB Dual Core 2MB
8x 1GB 400Mhz DDR CL3 ECC Registered
8x 36GB SCSI 15KRPM

4x slave database (mysql, only handle selects)
1x Opteron 165 1.8Ghz Dual Core 2MB Cache
4x 1GB DDR non-ECC CL2 2x 80GB SATA 8MB

1x nfs (also serves as slave database cause it way to fast for nfs only)
1x Opteron 265 1.8Ghz FSB Dual Core 2MB
4x 2GB 400Mhz DDR CL3 ECC Registered
8x 36GB SCSI 15KRPM

2x search (sphinx)
1x Opteron 165 1.8Ghz Dual Core 2MB Cache
4x 1GB DDR non-ECC CL2 2x 80GB SATA 8MB

ads.mininova.org, snotr.com, blog.mininova.org, codepost.org (20 Mbps)

1x frontend (lighttpd, php-fcgi)
1x Opteron 165 1.8Ghz Dual Core 1MB Cache
2x 2GB DDR non-ECC CL2

3x php (php-fcgi)
1x Opteron 165 1.8Ghz Dual Core 1MB Cache
2x 2GB DDR non-ECC CL2

1x database (mysql)
1x Opteron 165 1.8Ghz Dual Core 1MB Cache
2x 2GB DDR non-ECC CL2

forum.mininova.org (10 Mbps)

1x all round (at another data center, runs both lighttpd and mysql)
1x Xeon 3.0GHz Dual Core 2MB Cache
1x 1GB 400Mhz DDR ECC Registered
1x 160GB 7200RPM SATA

Cette infrastructure permet à Mininova de faire environ 3 millions de visiteurs par jour et 10 millions de téléchargements de torrent. La croissance est plutôt … pas mal !

Skyblog en chiffre c’est en avril 2007 plus de 8 000 000 de skyblogs (pour moi skyblog != blog), 380 000 000 d’articles et 840 000 000 de commentaires. Avec de tel chiffre il faut de bons serveurs derrières, et la devteam vient de publier les chiffres sur son blog (oui là j’accepte le terme).

Attention vous allez vous sentir tout petit ! L’article :

9 loadbalancers Zeus Layer 7 ZXTM: machines diverses;

50 frontaux Web Apache 1.3.x: bi dual-core, 6 Go de ram, PHP 5.2, Xcache, Nginx
pour les élements statiques;

50 serveurs MySQL 5.0.x: bi dual-core, 16 Go de ram, 8 disques SAS RAID 10 73 Go, en réplication
master/master;

30 serveurs Memcached 1.2.x: bi dual-core (complètement sous exploité actuellement :), 16 go de ram, 3 instances memcached de 4 Go par machine;

2 serveur de sessions sharedance: stockage tmpfs 6 go (on en utilise grosso modo la moitié), un en master, un en secours;

1 cluster de stockage Isilon: 40 nodes de 12 disques SATA pour le stockage; A coté, divers types de stockages encore un peu utilisés (principalement des restes d’avant Isilon), avec SAN Sata Transtec, SAN Fiber Chanel Transtec, SAN Fiber Chanel Storagtek, SCSI Interne, SATA Interne… Oui, on a essayé beaucoup de systèmes différents par le passé

Le tout tourne sous Linux x86_64, généralement du debian avec nos paquets.

Dans le lot, ya quelques machines de secours, quelques machines qui maintenant servent à autre chose, etc, mais grosso modo, le compte y est. Il faut aussi rajouter diverses machines pour les taches planifiées, la supervision (munin, nagios, outil de gestion des bascules master actif / master passif…). Avec tout ca on sert 4Gbps d’images, textes, musique (hors radio), pub, etc.

Bon voilà ! Autant de serveurs pour si peu de contenu de qualité ! c’est malheureux, parfois j’ai envie d’être écolo …