El grup Gaia de la Universitat de Barcelona, en col·laboració amb DapcomM Data Services, participada per la mateixa UB i la UPC, ha publicat una còpia alternativa del gruix dels fitxers del segon catàleg de la missió Gaia (DR2) de l’Agència Espacial Europea, que recull dades de 1.700 milions d’estrelles.
La còpia s’ha fet en FAPEC Archiver 19.0, un format nou que permet reduir la mida dels arxius un 15% més que els compressors que es fan servir habitualment. FAPEC Archiver 19.0 és un programari de compressió de dades que ofereix una alta capacitat de compressió amb una gran rapidesa d’execució. Una de les opcions que proporciona és la compressió de fitxers de text tabulats com els que suposen el gruix del segon catàleg Gaia. Dels 554 GB originals (en format GZip) s’ha passat a només 471 GB, és a dir, una compressió un 15% superior a la de GZip.
El catàleg Gaia DR2, a més de la posició de 1.700 milions d’estrelles, inclou dades sobre la distància, el moviment i el color de més de 1.300 milions d’estrelles de la Via Làctia i de galàxies properes. A més del catàleg en línia -publicat en obert el 25 d’abril de 2018- s’ha posat a disposició de la comunitat científica una versió del catàleg en fitxers CSV per a la descàrrega per tal que es puguin fer anàlisis més exhaustives de les dades.
Aquest nou programari ofereix una millora en la compressió de dades que pot oscil·lar, típicament, entre un 10 i un 15% respecte altres estàndards de compressió. En alguns casos, la millora pot arribar a ser del 50% o fins i tot del 100%, és a dir, duplicar la compressió d’altres sistemes. FAPEC suporta fitxers binaris i de text (com els esmentats CSV), sèries temporals, matrius multidimensionals, imatges amb diverses bandes de color o formats específics com els usats en genòmica.
Un altre dels avantatges principals és la gran rapidesa en el procés de compressió, així com la possibilitat d’adaptar-se al cas particular d’un tipus concret de dades, com ara un experiment científic, un sensor o una càmera. Actualment, FAPEC s’està fent servir, per exemple, per comprimir dades de radioocultació GNSS a bord de satèl·lits.
El compressor pensat per a professionals que treballen amb grans volums de dades: experiments científics, instruments d’alt rendiment, entorns de recerca, o fins i tot fotografia professional. En el camp de la recerca, a més de la física o l’astronomia, es pot aplicar a dades de sondes marines utilitzades en geociències, en el camp de la genòmica, o en medicina a l’hora d’emmagatzemar ressonàncies magnètiques, per exemple.
