Cela faisait longtemps que nous n'avions pas mis à jour la base de Kooplet. Globalement, peu de sites disparaissent du jour au lendemain, donc l'essentiel de la base demeurait valide. Malheureusement, un énorme site de partitions classiques a récemment été absorbé par un autre site, encore plus énorme. Cela nous oblige donc à supprimer de notre base tous les liens vers le premier site, et d'indexer le second. Cela fait près de 80 000 entrées qu'il faut supprimer de la base. Nous n'avions pas prévu qu'un tel volume puisse être supprimé d'un coup, et notre procédure d'effacement est complexe, car elle doit non seulement supprimer l'entrée elle-même, mais également toutes les données précalculées permettant d'effectuer rapidement les recherches mélodiques. La suppression complète d'une entrée prend environ 10 secondes de CPU. Ne pouvant pas bloquer notre serveur, il faut compter ne pouvoir utiliser que 50% de sa capacité de traitement, donc la suppression d'une entrée prend 20 secondes de temps effectif. 80 000 entrées, à 20 secondes par entrée, cela fait 1 600 000 secondes, soit au minimum 18 jours non stop pour achever le travail ! Nous cherchons donc un moyen de réaliser ça plus rapidement, quitte à arrêter Kooplet quelques heures, le temps que le traitement se fasse. Bon week-end à tous ! |