 Dans la série "C'est un peu technique mais ça peut toujours être utile à un développeur qui passe par là", voici quelques astuces concernant la gestion de fichiers -très- longs et des valeurs 64 bits en Perl.
Tout d'abord, à quoi ça sert et pourquoi cet intérêt soudain pour un domaine somme toute assez peu passionant ?
Dans Kooplet, nous avons besoin de stocker des quantités assez importantes de données. Nous avons choisi de gérer nous-même les bases de données sous forme de fichiers, en langage Perl.
Un peu déformés par 20 ans d'informatique où 2 ou 4 Go étaient les limites absolues, car correspondant à la valeur maximale de ce qu'on peut stocker sur un entier long (32 bits), nous nous étions résignés à mettre en place un système complexe de gestion de fichier par tranche, qui découperait automatiquement en morceaux nos bases de données lorsqu'elles deviendraient trop longues.
Mais avant de nous lancer dans le tronçonnage, nous avons essayé de créer en Perl un fichier de plus de 4 Go. Sans problème. Apparemment, aucune limite, donc nous pouvions espérer manipuler des fichiers sans limite de taille.
Il fallait d'abord vérifier que l'arithmétique entière au-delà de 32 bits, c'est-à-dire les entiers 64 bits, aussi appelés "long longs" fonctionne en Perl.
Notre version de Perl (5.8.8 sur système 32 bits) les gère effectivement, ou presque.
Apparemment (mais ce n'est pas certain, il s'agit peut-être d'une configuration de l'affichage), ils sont gérés jusqu'à des valeurs avoisinant 999 millions de milliards. Au-delà, l'affichage passe en virgule et exposant. Pas grave, cela devrait tout de même suffire.
Par contre, mauvaise surprise. Pour stocker un "long long" dans un fichier, on est censés utiliser la commande Perl : pack("Q",valeur)
Cette commande génère une erreur "Invalid type 'Q' in pack".
Cela ne nous semble vraiment pas normal. Le langage permet de gérer des variables contenant des valeurs 64 bits, d'effectuer des calculs dessus, de se positionner dans un gros fichier à l'aide de ces variables, mais pas d'écrire ces variables en format binaire.
Bon, pas grave, nous avons contourné cela, en écrivant ces valeurs en 2 fois 32 bits. Pour les pinailleurs, les fichiers étant destinés à être lus par la machine qui les a écrits, nous ne nous sommes pas souciés de l'"endianness":
Quote:Entier signé
Stockage : data=pack("lL",high,low)
avec high=int(value/$QSPLIT)
et low=value%$QSPLIT
Lecture : (high,low)=unpack("lL",data)
puis value=high*$QSPLIT+low
Entier non signé
Stockage : data=pack("LL",high,low)
avec high=int(value/$QSPLIT)
et low=value%$QSPLIT
Lecture : (high,low)=unpack("LL",data)
puis value=high*$QSPLIT+low
|
|
$QSPLIT étant la valeur non signée correspondant au franchissement des 32 bits, soit 4294967296
Il a ensuite suffi de reprendre tous nos programmes pour remplacer les valeurs 32 bits contenant les positions des divers éléments dans les fichiers par des valeurs 64 bits, puis de modifier tous les stockages et lectures de ce type de valeurs. Pas vraiment compliqué, mais ça a quand même pris une bonne journée.
Technophobes, vous pouvez rouvrir les yeux maintenant, c'est fini ! |
|
|
| by Olivier Guillion |  |
| |
|
Notre matériel d'enregistrement audio se faisant de plus en plus vieillissant, il devenait difficile de récupérer sur l'ordinateur les enregistrements "nomades" que nous avions réalisés.
En effet, nous utilisions un microphone mono, connecté via un préampli à un Creative Nomad Jukebox 3, produit abandonné dont les pilotes ne sont plus mis à jour depuis des années. Bien que connectable en USB, cet appareil ne se comporte pas comme un périphérique de stockage standard et nécessite un logiciel spécifique pour accéder aux données stockées. Nous avions mis ce genre de pratique sur le compte des premiers balbutiements de la connectivité USB, et pensions que cela n'existait plus jusqu'à ce que la sortie de l'iPod nous donne tort.
Nous avions donc plusieurs solutions pour réaliser des enregistrements stéréo corrects:
- garder notre matériel, et acheter un préampli stéréo. Mais notre micro stéréo n'étant pas terrible, les pilotes de Creative probablement pas compatibles avec Windows 7 et encore moins Mac OS X, cela ne promettait pas d'être une solution durable.
- louer du matériel de prise de son lorsque nous en aurions besoin.
Solution moins flexible, assez onéreuse, et nous demandant de choisir du matériel facilement interfaçable avec un PC, s'il était disponible.
- acheter un enregistreur numérique portable. Nous avions eu l'occasion il y a quelque temps d'apercevoir un Zoom H4 (le propriétaire se reconnaitra) et nous sommes assez attirés par son successeur, le Zoom H4N.
Le produit semble vraiment intéressant, mais le prix reste assez élevé (environ 300 euros) et le contrôle de l'enregistrement assez délicat sur les appareils de ce type, même si les afficheurs ont fait des progrès.
- enfin, nous pouvons également acquérir un micro stéréo USB, et mettre à conribution notre petit netbook EEEPC équipé d'Audacity pour en faire un petit studio d'enregistrement numérique mobile. La taille et le poids importants du microphone sur lequel nous avons jeté notre dévolu, le Blue Yeti rend bien entendu le système bien moins pratique que le Zoom pour de la prise de son vraiment nomade, mais en contrepartie, le confort d'utilisation, avec un vrai PC pour contrôler les enregistrements, nous est probablement plus nécessaire.
Nous déciderons demain matin du matériel à commander, et nous vous tiendrons au courant de nos essais (avec, pourquoi pas, des extrais sonores de test) dès que nous l'aurons reçu. |
|
|
| by Olivier Guillion | |
|
| |
|
|
