HomeProductsDownloadOrderSupportSearch
  
 
 Myriad Blog 1.3.0 Tuesday, Mar 19th, 2024 at 10:37am 

Technical Thursday, Sep 30th, 2010 at 05:14pm
Kooplet et les fichiers longs en Perl
Dans la série "C'est un peu technique mais ça peut toujours être utile à un développeur qui passe par là", voici quelques astuces concernant la gestion de fichiers -très- longs et des valeurs 64 bits en Perl.
 
Tout d'abord, à quoi ça sert et pourquoi cet intérêt soudain pour un domaine somme toute assez peu passionant ?
 
Dans Kooplet, nous avons besoin de stocker des quantités assez importantes de données. Nous avons choisi de gérer nous-même les bases de données sous forme de fichiers, en langage Perl.
Un peu déformés par 20 ans d'informatique où 2 ou 4 Go étaient les limites absolues, car correspondant à la valeur maximale de ce qu'on peut stocker sur un entier long (32 bits),  nous nous étions résignés à mettre en place un système complexe de gestion de fichier par tranche, qui découperait automatiquement en morceaux nos bases de données lorsqu'elles deviendraient trop longues.
 
Mais avant de nous lancer dans le tronçonnage, nous avons essayé de créer en Perl un fichier de plus de 4 Go. Sans problème. Apparemment, aucune limite, donc nous pouvions espérer manipuler des fichiers sans limite de taille.
 
Il fallait d'abord vérifier que l'arithmétique entière au-delà de 32 bits, c'est-à-dire les entiers 64 bits, aussi appelés "long longs" fonctionne en Perl.
Notre version de Perl (5.8.8 sur système 32 bits) les gère effectivement, ou presque.
Apparemment (mais ce n'est pas certain, il s'agit peut-être d'une configuration de l'affichage), ils sont gérés jusqu'à des valeurs avoisinant 999 millions de milliards. Au-delà, l'affichage passe en virgule et exposant. Pas grave, cela devrait tout de même suffire.
 
Par contre, mauvaise surprise. Pour stocker un "long long" dans un fichier, on est censés utiliser la commande Perl : pack("Q",valeur)
Cette commande génère une erreur "Invalid type 'Q' in pack".  
Cela ne nous semble vraiment pas normal. Le langage permet de gérer des variables contenant des valeurs 64 bits, d'effectuer des calculs dessus, de se positionner dans un gros fichier à l'aide de ces variables, mais pas d'écrire ces variables en format binaire.
 
Bon, pas grave, nous avons contourné cela, en écrivant ces valeurs en 2 fois 32 bits. Pour les pinailleurs, les fichiers étant destinés à être lus par la machine qui les a écrits, nous ne nous sommes pas souciés de l'"endianness":
Quote:
Entier signé

 
Stockage : data=pack("lL",high,low)
avec high=int(value/$QSPLIT)
et        low=value%$QSPLIT
 
Lecture      : (high,low)=unpack("lL",data)
puis value=high*$QSPLIT+low
 
Entier non signé

 
Stockage : data=pack("LL",high,low)
 avec high=int(value/$QSPLIT)
et        low=value%$QSPLIT
 
Lecture      :      (high,low)=unpack("LL",data)
puis value=high*$QSPLIT+low

$QSPLIT étant la valeur non signée correspondant au franchissement des 32 bits, soit 4294967296
 
Il a ensuite suffi de reprendre tous nos programmes pour remplacer les valeurs 32 bits contenant les positions des divers éléments dans les fichiers par des valeurs 64 bits, puis de modifier tous les stockages et lectures de ce type de valeurs. Pas vraiment compliqué, mais ça a quand même pris une bonne journée.
 
Technophobes, vous pouvez rouvrir les yeux maintenant, c'est fini !
by Olivier Guillion

Technical Tuesday, Sep 28th, 2010 at 05:00pm
Matériel d'enregistrement

 
Notre matériel d'enregistrement audio se faisant de plus en plus vieillissant, il devenait difficile de récupérer sur l'ordinateur les enregistrements "nomades" que nous avions réalisés.
 
En effet, nous utilisions un microphone mono, connecté via un préampli à un Creative Nomad Jukebox 3, produit abandonné dont les pilotes ne sont plus mis à jour depuis des années. Bien que connectable en USB, cet appareil ne se comporte pas comme un périphérique de stockage standard et nécessite un logiciel spécifique pour accéder aux données stockées. Nous avions mis ce genre de pratique sur le compte des premiers balbutiements de la connectivité USB, et pensions que cela n'existait plus jusqu'à ce que la sortie de l'iPod nous donne tort.
 
Nous avions donc plusieurs solutions pour réaliser des enregistrements stéréo corrects:
 
- garder notre matériel, et acheter un préampli stéréo. Mais notre micro stéréo n'étant pas terrible, les pilotes de Creative probablement pas compatibles avec Windows 7 et encore moins Mac OS X, cela ne promettait pas d'être une solution durable.
 
- louer du matériel de prise de son lorsque nous en aurions besoin.  
Solution moins flexible, assez onéreuse, et nous demandant de choisir du matériel facilement interfaçable avec un PC, s'il était disponible.
 
- acheter un enregistreur numérique portable. Nous avions eu l'occasion il y a quelque temps d'apercevoir un Zoom H4 (le propriétaire se reconnaitra) et nous sommes assez attirés par son successeur, le Zoom H4N.  
Le produit semble vraiment intéressant, mais le prix reste assez élevé (environ 300 euros) et le contrôle de l'enregistrement assez délicat sur les appareils de ce type, même si les afficheurs ont fait des progrès.
 
- enfin, nous pouvons également acquérir un micro stéréo USB, et mettre à conribution notre petit netbook EEEPC équipé d'Audacity pour en faire un petit studio d'enregistrement numérique mobile. La taille et le poids importants du microphone sur lequel nous avons jeté notre dévolu, le Blue Yeti rend bien entendu le système bien moins pratique que le Zoom pour de la prise de son vraiment nomade, mais en contrepartie, le confort d'utilisation, avec un vrai PC pour contrôler les enregistrements, nous est probablement plus nécessaire.
 
Nous déciderons demain matin du matériel à commander, et nous vous tiendrons au courant de nos essais (avec, pourquoi pas, des extrais sonores de test) dès que nous l'aurons reçu.
by Olivier Guillion
 1 comment.


Full view
Reduced view
Most recent first
Oldest first
All
Didier Guillion
Olivier Guillion
Sylvie Ricard
All
Technical
Dev News
Memories
Mood
To be seen
Myriad Life
30 previous days
Apr 2006
May 2006
Jun 2006
Jul 2006
Aug 2006
Sep 2006
Oct 2006
Nov 2006
Dec 2006
Jan 2007
Feb 2007
Mar 2007
Apr 2007
May 2007
Jun 2007
Jul 2007
Aug 2007
Sep 2007
Oct 2007
Nov 2007
Dec 2007
Jan 2008
Feb 2008
Mar 2008
Apr 2008
May 2008
Jun 2008
Jul 2008
Aug 2008
Sep 2008
Oct 2008
Nov 2008
Dec 2008
Jan 2009
Feb 2009
Mar 2009
Apr 2009
May 2009
Jun 2009
Jul 2009
Aug 2009
Sep 2009
Oct 2009
Nov 2009
Dec 2009
Jan 2010
Feb 2010
Mar 2010
Apr 2010
May 2010
Jun 2010
Jul 2010
Aug 2010
Sep 2010
Oct 2010
Nov 2010
Dec 2010
Jan 2011
Feb 2011
Mar 2011
Apr 2011
May 2011
Jun 2011
Jul 2011
Aug 2011
Sep 2011
Oct 2011
Nov 2011
Dec 2011
Jan 2012
Feb 2012
Mar 2012
Apr 2012
May 2012
Jun 2012
Jul 2012
Aug 2012
Sep 2012
Oct 2012
Nov 2012
Dec 2012
Jan 2013
Feb 2013
Mar 2013
Apr 2013
May 2013
Jun 2013
Jul 2013
Aug 2013
Sep 2013
Oct 2013
Nov 2013
Dec 2013
Jan 2014
Feb 2014
Mar 2014
Apr 2014
May 2014
Jun 2014
Jul 2014
Aug 2014
Sep 2014
Oct 2014
Nov 2014
Dec 2014
Jan 2015
Feb 2015
Mar 2015
Apr 2015
May 2015
Jun 2015
Jul 2015
Aug 2015
Sep 2015
Oct 2015
Nov 2015
Dec 2015
Jan 2016
Feb 2016
Mar 2016
Apr 2016
May 2016
Jun 2016
Jul 2016
Aug 2016
Sep 2016
Oct 2016
Nov 2016
Dec 2016
Jan 2017
Feb 2017
Mar 2017
Apr 2017
May 2017
Jun 2017
Jul 2017
Aug 2017
Sep 2017
Oct 2017
Nov 2017
Dec 2017
Jan 2018
Feb 2018
Mar 2018
Apr 2018
May 2018
Jun 2018
Jul 2018
Aug 2018
Sep 2018
Oct 2018
Nov 2018
Dec 2018
Jan 2019
Feb 2019
Mar 2019
Apr 2019
May 2019
Jun 2019
Jul 2019
Aug 2019
Sep 2019
Oct 2019
Nov 2019
Dec 2019
Jan 2020
Feb 2020
Mar 2020
Apr 2020
May 2020
Jun 2020
Jul 2020
Aug 2020
Sep 2020
Oct 2020
Nov 2020
Dec 2020
Jan 2021
Feb 2021
Mar 2021
Apr 2021
May 2021
Jun 2021
Jul 2021
Aug 2021
Sep 2021
Oct 2021
Nov 2021
Dec 2021
Jan 2022
Feb 2022
Mar 2022
Apr 2022
May 2022
Jun 2022
Jul 2022
Aug 2022
Sep 2022
Oct 2022
Nov 2022
Dec 2022
Jan 2023
Feb 2023
Mar 2023
Apr 2023
May 2023
Jun 2023
Jul 2023
Aug 2023
Sep 2023
Oct 2023
Nov 2023
Dec 2023
Jan 2024
Feb 2024
Mar 2024
Mar 18th, 2024 at 08:14pm 
Comment from Sylvain
Mar 18th, 2024 at 08:13pm 
Comment from Sylvain
@André
Mar 18th, 2024 at 07:28pm 
Comment from Antoine Bautista
Build 82....
Mar 18th, 2024 at 05:02pm 
Article from Didier Guillion
Harmony Assistant 9.9.8  étape 198
Mar 18th, 2024 at 05:02pm 
Article from Didier Guillion
Harmony Assistant 9.9.8  étape 198
Mar 17th, 2024 at 11:40am 
Comment from Antoine Bautista
Frite....
Mar 17th, 2024 at 11:40am 
Comment from Antoine Bautista
Frite....
Mar 16th, 2024 at 09:16am 
Comment from André Baeck
Mar 16th, 2024 at 09:16am 
Comment from André Baeck
Mar 16th, 2024 at 09:13am 
Comment from André Baeck

Top of page
Legal information Cookies Last update:  (c) Myriad