DiscRot/BitRot

Avatar de l’utilisateur
Zetsubou-sensei
Je mange des Kellogg's Corn Flac
Je mange des Kellogg's Corn Flac
Messages : 1286
Inscription : 15 mai 2013 00:20
Contact :

DiscRot/BitRot

Message par Zetsubou-sensei »

Je pensais depuis un moment à ouvrir un sujet sur la question de la destruction physique des disques en polycarbonate (CD, DVD, HD-DVD, BRD et variantes).
Une personne m'a ramené ce matin même une pile de plusieurs centaines de Compact Discs, afin que je puisse l'aider à sauver sa collection (avec de nombreuses références excessivement rares).
Mais il m'a été impossible de pouvoir l'aider car toutes les couches de plusieurs disques étaient carrément rongées par une oxydation/corrosion.

Image
Image d'illustration de mes propos

Je me suis équipé au fil des années, notamment de plusieurs machines pour combler les manques.
Compensant les erreurs de lecture au niveau logiciel, par une détection profonde des erreurs ou des algorithmes prédictifs ou heuristiques, pouvant recréer des valeurs par déduction -les Compact Discs sont équipés de pistes de contrôle et de corrections (subchannels)-.
Ou carrément raboter à l'échelle micrométrique les surfaces en polycarbonate dans les cas les moins profonds (rayures simples en surface ou sur la peinture/encre), mais cela n'a rien pu changer dans le cas présenté aujourd'hui.

Les premiers Compact Discs commerciaux ont été lancés il y a plus de 30 ans dans le monde, dont on les pensait presque indestructibles d'un point de vue physico-chimique.
Malheureusement, comme tout support physique ils commencent à se dégrader (et pas forcément les plus anciens), sur des échelles temporelles relatives à celles d'un être humain.
Face à des supports comme le papier, qui nous perdure bien plus longtemps, il existe actuellement des débuts de catastrophes dans des collections d'amateurs, ainsi que de professionnels de l'archivage physique.

Ce problème apparaît de plus en plus sérieux, que l'on appelle DiscRot dans le jargon technique.
Il existe une variante plus complexe pour les supports magnétiques (bandes magnétiques, disques durs), opto-magnétiques (disquettes Zip, Jazz et variantes) que l'on appelle le BitRot, car les données perdent leurs valeurs sur des petits secteurs de manière soit naturelle (démagnétisation) ou par accidents, avec des corruptions bien plus difficiles à détecter.

Le Compact Disc, de sa fabrication en polycarbonate avec des peintures et/ou des colles ont tendance à réagir entre eux, avec l'air ambiant.
Alors qu'une bande magnétique peut facilement perdurer entre 50 et 75 ans (en condition d'utilisation assez modérée) ou nos bons vinyles 33' et 45' sont encore en excellent état (si rangés bien serrés et à plat, pour ne pas qu'ils se déforment avec les variations de température/hygrométrie).

Nous ne parlons même pas des supports (ré)enregistrables, fabriqués à base de colorants et produits organiques, très prisés dans la fin des années 90 et surtout utilisés dans les années 2000, avec les CD-R(E) - DVD-R(E) - BD-R(E).
Mais, dont la durée d'utilisation varie entre 6 mois (exemplaires vraiment très bas de gamme, extrêmement transparents) à une dizaine d'années maximum (je pense notamment aux VERBATIM EZO ou certains modèles chez SONY entre 1998 et 2002).

Le DiscRot n'est pas à proprement parler sur des disques anciens ou peut même être très subtil à voir à l’œil nu, contrairement à mon image d’illustration précédente.
Pour preuve, voici une photo d'un disque de jeu pour console Nintendo WiiU (Xenoblade Chronicles X), daté en fabrication du second batch en mars 2016.

Image
Image d'illustration provenant d'un utilisateur du site NeoGAF, mais de cas de figure exactement identique à celui que j'ai pu avoir pour un utilisateur. Pour les personnes avec des difficultés de vision, il faut voir un trou au niveau de la lettre S dans 'Chronicles'. La console se bloque littéralement au chargement du jeu et éjecte le disque en le considérant comme invalide.
Pour anecdote, Nintendo a refusé de remplacer le disque alors qu'ils s'étaient engagés contractuellement lors d'un achat de leurs produits à remplacer les disques défectueux ou tout vice caché dans le temps.
J'ai pu lui sauver la situation de cette personne (au final de manière, je le reconnais illégale), en forçant l'accès sur les serveurs de Nintendo et en octroyant l'autorisation de télécharger le jeu dans le stockage interne de sa console, ainsi qu'un transfert de sa sauvegarde de la version disque vers l'édition numérique (changement de format de cryptage incompatible entre les deux versions et redirection mémoire dans la console vers le bon numéro de série, chose que Nintendo ne veut pas laisser faire en dehors de son SAV mais qu'ils facturent très grassement pour ce dernier point).
J'ai vu passer ce matin un article sur Les Inrockuptibles qui peut s'avérer très intéressant pour le lectorat du forum de TellementNomade.
http://www.lesinrocks.com/2017/02/10/mu ... -11911608/

Cet article dérive d'un autre, bien plus détaillé mais en langue anglaise; je vous fournis le lien également pour les personnes anglophones.
http://tedium.co/2017/02/02/disc-rot-phenomenon/
Je réponds à vos messages dans des délais les plus rapides dont il m'est possible.
Merci de votre patience.
Avatar de l’utilisateur
raf
Je me suis greffé des intras
Je me suis greffé des intras
Messages : 1811
Inscription : 15 juil. 2011 19:37
Localisation : Choisy-le-Roi

Message par raf »

Argh, mais comment on fait pour sauvegarder nos données ? T_T
RAID 1 ? RAID 5 ?
Nomade : Astell & Kern 100 mod stage 2 / Earsonics EM4
Sédentaire : Totaldac A1 / Audio GD NFB-6 / AKG K340 mid-bass modded by KT88
Sédentaire monitoring : M-audio Fast Track C400 / Focal CMS 40
J@r0d
100db + 100db = 200db
100db + 100db = 200db
Messages : 632
Inscription : 08 janv. 2017 15:51

Message par J@r0d »

Ne pas confondre Stockage, Sauvegarde et Archivage ;) le raid5 pour moi c'est le minimum vital pour un Nas qui va servir a stocker les données, mais les donnés qui sont dessus vivent et si l'on veut les sécuriser alors il faut les Archiver sur un autre support externalisé
Dernière modification par J@r0d le 14 févr. 2017 10:50, modifié 1 fois.
Source Nomade: FIIO X7 avec AM5 sur MSR7
Source Sédentaire; FIIO X7 sortie coax
Dac Sédentaire: SMSL M9
Casque sédentaire: Focal Elear
Kooka

Message par Kooka »

Raid ou pas, si le NAS est chez toi et que ta maison brûle ou que tu es cambriolé : tu as tout perdu... Attention car malgré ce que les gens pensent, un Serveur de Stockage en Réseau n'est pas une solution de sauvegarde : c'est un disque accessible en réseau (lapalissade :p ).

Donc : copie à la maison + copie à l'extérieur + copie sur le cloud : la redondance est la seule solution viable !! ;-/
Avatar de l’utilisateur
Zetsubou-sensei
Je mange des Kellogg's Corn Flac
Je mange des Kellogg's Corn Flac
Messages : 1286
Inscription : 15 mai 2013 00:20
Contact :

Message par Zetsubou-sensei »

Si des gens sont intéressés par des précisions ou des détails, je peux en fournir en MP.
Comme la question s'adresse et a été répondue par des gens très sensibles dans les domaines informatiques, je me permets de répondre sans vulgariser, à un détail près.
Je ne mords pas et suis toujours disponible avec tout le monde, à qui veut apprendre ou se renseigner.


Pour répondre à raf.
Le minimum que je te conseille, c'est un double sur un HDD externe que tu évites de trop secouer ou de sortir toutes les 5 minutes.
Je ne vais pas dénoncer, mais en 2010, j'ai une petite mairie qui a brûlée, archives papiers détruites.
La seule chose qui a pu sauver les archives, c'est le double de la GED sur un HDD externe USB...

GED == Gestion Électronique de Documents : scan et gestion de tous les documents administratifs depuis env. 1840 + certificats de naissances + certificats de décès + demandes CNI et passeports.

Si tu as un peu plus d'argent, tu peux passer sur du NAS, avec par exemple au moins un RAID5 avec un formatage en ZFS (testé, goûté et éprouvé) au lieu de EXT3/EXT4.
ZFS a une capacité meilleure de résistance à la perte de données par une action plus poussée sur les bits de parité.
BTRFS (avec un système de vérification en temps semi-réel des données à tout moment) est encore trop jeune tout en promettant beaucoup, mais j'ai vu des grappes de disques durs tomber à cause d'erreurs sur des cartes RAID physiques comme logiciels.

Après c'est la course à l'armement et rien n'est éternel, mais on peut tenter de prolonger le plus possible.
Personnellement, j'aime mixer les technologies par niveaux de stockage, afin de ne pas me fier à un seul type (HDDs, SSDs, bandes, SAS).

Je distingue 3 niveaux de stockage dans mes réseaux :
- zone chaude : serveur à base de SSDs, en RAID5 ZFS, qui contient les données de tous les jours accessible à un groupe restreint, à connexion chiffrée (clés OTP et double challenge);
- zone tiède (après une série de sécurités) : stockage de la semaine et zone de backup + backup externe sur bandes magnétiques (avec roulement dans un coffre hors de la maison);
- zone froide (après une autre série de sécurités et derrière une porte badgeuse + caméra IP interne) : stockage de l'intégralité de mes travaux et recherches depuis plus de 20 ans (serveurs professionnels SAS avec robot à bandes magnétiques et contrôle des HDDs permanent).

Environ 95% des entreprises dans le monde n'ont pas accès à un tel système.
Étant du métier, et les cordonniers ne sont pas forcément les plus mal chaussés, j'ai prévu sur l'avenir.

Ces 6 derniers mois, j'ai réduit de 40% la taille du système global, ainsi que sa consommation électrique, que j'assure au maximum par des énergies renouvelables.
Accumulés, on doit être dans les 540To de données (si on compte les redondances).

EDIT : Grosse faute de conjugaison, c'est inacceptable.
Dernière modification par Zetsubou-sensei le 14 févr. 2017 12:50, modifié 2 fois.
Je réponds à vos messages dans des délais les plus rapides dont il m'est possible.
Merci de votre patience.
J@r0d
100db + 100db = 200db
100db + 100db = 200db
Messages : 632
Inscription : 08 janv. 2017 15:51

Message par J@r0d »

Arf, ca y est, il lance le débat de la politique de sauvegarde 8-D
Source Nomade: FIIO X7 avec AM5 sur MSR7
Source Sédentaire; FIIO X7 sortie coax
Dac Sédentaire: SMSL M9
Casque sédentaire: Focal Elear
Avatar de l’utilisateur
the wizard of oz
Je me suis greffé des intras
Je me suis greffé des intras
Messages : 1575
Inscription : 20 févr. 2012 08:56

Message par the wizard of oz »

Il faudrait que je me penche plus sérieusement sur la question.
J'ai une solution externe en RAID1 et nombre de clefs USB, mais il me faudrait au moins 3 autres RAID1, dont deux dans un autre lieu géographique, en effet.
Les CD, j'ai arrêté au début des années 2000, me rendant compte de la fragilité du support. Je trouvais les MiniDiscs et les DVD-RAM en cartouche un tant soit peu plus sensés en termes de protection. Les DVD, pas trop le choix, mais j'ai off-loadés tous quasiment mes films ne gardant que les séries pour l'instant, le téléchargement internet fonctionnant bien ; mais je ne peux que constater la dégradation déjà de nombre de DVD (N) par Disc rot, ou par des boitiers très mal conçus :@@ .
Dernière modification par the wizard of oz le 14 févr. 2017 12:34, modifié 1 fois.
RYMeBayH-FAFAudirvana+ > A-9010 > D-055PE-155 & SL-1200 MK4 > Intec 205 > D-152EDX100 > W5000 • ST-10F > TAE-20F > TAN-15F Falcon
gug42
Je mange des Kellogg's Corn Flac
Je mange des Kellogg's Corn Flac
Messages : 1396
Inscription : 05 mars 2012 17:38
Contact :

Message par gug42 »

Chez moi, maintenant :
- NAS en RAID 5 (attention à la surveillance des disques hein :o)
- Synchro des trucs considérés comme important sur google Cloud

Le top serait également d'utiliser un deuxième fournisseur externe proposant un stockage dit à froid pour les trucs longue durée peu suspectible d'être modifié/rapatrié ... MAis bon les photos et aures documents administratifs c'est déjà pas mal !

Je préconise maintenant, à tout non initier, d'utiliser un service de synchro vers un stockage externe déporté (ie Amazon, Google, Azure, ovh, autres) via une application installer localement (synchro automatique de répertoires).

Le pourcentage de risque de double planne est très faible. Et ca reste bien mieux qu'une DD externe synchronisé à la main
Avatar de l’utilisateur
Zetsubou-sensei
Je mange des Kellogg's Corn Flac
Je mange des Kellogg's Corn Flac
Messages : 1286
Inscription : 15 mai 2013 00:20
Contact :

Message par Zetsubou-sensei »

Et ca reste bien mieux qu'une DD externe synchronisé à la main.

Je ne suis pas forcément d'accord.
En termes d'archivage, il est nécessaire de rester maître et propriétaire des données, sans dépendre d'un fournisseur externe au possible, si on veut faire by the book.

Tout le monde ne maîtrise pas l'outil informatique et il est des fois plus facile pour les personnes de comprendre pour sauvegarder leurs photos de vacances/petits-enfants/voyages, de passer par un disque dur.
Plus sécurisant, d'avoir quelque chose en physique, de palpable.
Que je pourrais mettre en relation avec les collectionneurs de vinyles; ça n'est pas forcément mieux, mais l'envie de palper un objet.
Nos générations les plus anciennes ont parfois du mal avec le dématérialisé.

D'aveu personnel et pour l'avoir déjà vu et démontré à des gens, tes données chez Google Cloud sont aussi transparentes, que tu les cryptes ou non.
Pour des besoins de sécurités nationales, les clés master peuvent et sont utilisées à tout moment chez la plupart des gros fournisseurs basés aux USA, à des fins de collectes.
Mon conseil serait de passer plutôt par OVH (cocorico, c'est français, Montebourg style) si tu tiens à du dématérialisé.
Sans parler des datacenters où sont stockés tes données, qui fonctionnent majoritairement au charbon en 2016 aux USA, et dont le gouvernement Trump vient d'ouvrir les vannes pour en augmenter le pourcentage.

On peut être des data hoarders, chacun fait ce qui lui plaît.
Mais un minimum d'éco-responsabilité est de mise.

Je précise que ce post n'est pas sponsorisé par Coca-Cola, Pizza Hut, Google ou OVH et que je n'ai aucun lien financier, comme moral avec ces marques.
Je réponds à vos messages dans des délais les plus rapides dont il m'est possible.
Merci de votre patience.
J@r0d
100db + 100db = 200db
100db + 100db = 200db
Messages : 632
Inscription : 08 janv. 2017 15:51

Message par J@r0d »

Le PB d'externaliser c'est le cout tant en stockage disque qu'en bande passante, car pour ceux qui ont plusieurs To à sauvegarder et bien le coût devient vite prohibitif

Quand à louer un serveur dans un data il faut être de la partie et maîtriser l'administration à distance ce qui en cas de mauvaise maîtrise serait un remède pire que le mal

Mettre vos backuo chez Google c'est la mauvaise idée, vu que Google a des fibre optique en directe avec la NSA ^^

En revanche une solution type nas à la maison avec synchronisation des donne chez Google ou Amazon mais en ayant AVANT en cryptée les donnés vous évitera d'en dire encore plus sur votre vie privée ;)
Source Nomade: FIIO X7 avec AM5 sur MSR7
Source Sédentaire; FIIO X7 sortie coax
Dac Sédentaire: SMSL M9
Casque sédentaire: Focal Elear
Avatar de l’utilisateur
comte zero
Je me suis greffé des intras
Je me suis greffé des intras
Messages : 1798
Inscription : 17 nov. 2010 16:20
Contact :

Message par comte zero »

je dévie du sujet, mais quand je pense à toutes les données de mon taff qui sont stockées chez ggle... :roll:
Elevage DAPS Hifiman: HM-901S (Balanced card) / HM-801 / HM-602 | DAPS Divers: Ipod Classic / Shozy Alien / Lotoo Paw 5000 / Onkyo DP-X1A
Amp: Vorzüge PureII | Alo Continental V
IEM: EM32 / Jaws / EM64 | Casques: Grado SR60 / SR325e / Grado like / Beyer T51P DM
Statique: AirTunes + Denon + mémés JMLab Libratone Zipp Mini
J@r0d
100db + 100db = 200db
100db + 100db = 200db
Messages : 632
Inscription : 08 janv. 2017 15:51

Message par J@r0d »

Vos choix dépendront du prix que vous accordez aux donnés que vous souhaitez sauvegarder ;-/
Source Nomade: FIIO X7 avec AM5 sur MSR7
Source Sédentaire; FIIO X7 sortie coax
Dac Sédentaire: SMSL M9
Casque sédentaire: Focal Elear
Avatar de l’utilisateur
TheDecline01
TN m'a tuer
TN m'a tuer
Messages : 5119
Inscription : 24 janv. 2011 10:46
Localisation : Achères
Contact :

Message par TheDecline01 »

Perso, j'ai des cds, mais toutes mes dernières acquisitions sont en démat'. Du coup, elles sont téléchargées sur le pc, dupliquées sur un disque dur externe puis copiée sur mon NAS en raid 1. Bien sûr, tout est chez moi et si ma maison brûle je perd tout. D'un autre côté, si ma maison brûle j'aurai d'autres choses à pleurer. Et peut-être deviendrais-je moins attaché aux objets, pas un mal. Pour les cds d'ailleurs, les plus vieux doivent avoir 15-20 ans maintenant, et comme je ne les écoute plus, je ne pourrais certifier à 100%, mais je n'ai jamais eu aucun problème autre que le rayures dues à ma faute.

Bref, quand je vous lis, j'ai quand même l'impression de lire des illuminés (désolé du terme mais je ne trouve rien d'autre). On parle de musique je veux dire, ça va, c'est pas la mort de perdre de la musique. Mes papiers administratifs, j'en ai aucune copie nulle part perso. C'est vrai que ça c'est plus important, mais bon... c'est pas le plan de les perdre. J'en fait une copie quand je pars à l'étranger, c'est tout.

Mais bon, vous me donnez l'impression d'être totalement imprudent, voire inconscient, mais quand je réfléchis 5 minutes, je me dis surtout qu'il faut accepter que les choses qu'on possède, on peut les perdre et c'est dans l'ordre des choses. Les sécuriser, les conserver au mieux oui, mais perso, je ne me vois pas passer plus de temps, énergie et argent pour de simples fichiers musicaux ou photos. Je les perds, je serai triste quelques jours, puis je me reconstituerai une autre discothèque. L'occasion de repartir de zéro d'ailleurs, de tout redécouvrir.

Après, pour un niveau pro, ce n'est pas du tout pareil et je conçois tout à fait les solutions exposées Mais on parle de données d'entreprise dans ce cas, ce qui n'a rien à voir.
En nomade : Hiby R8 > Final Audio A8000/Spiral Ear SE-6 Edge
En sédentaire : Hiby R8 > Aroma A100TB + alim > ZMF Vérité Closed/Hifiman HE-6

Je crois qu'on peut dire que je suis bien là.
Avatar de l’utilisateur
manwalk
Audio spammeur en force
Audio spammeur en force
Messages : 15626
Inscription : 01 sept. 2011 13:43
Localisation : Metz
Contact :

Message par manwalk »

Surtout qu'il suffit d'un seul abo streaming pour quasi tout retrouver lol.
En mode nomade : iPhone SE2016 & Sony WF-1000XM3
Avatar de l’utilisateur
Zetsubou-sensei
Je mange des Kellogg's Corn Flac
Je mange des Kellogg's Corn Flac
Messages : 1286
Inscription : 15 mai 2013 00:20
Contact :

Message par Zetsubou-sensei »

On a vu ce que cela a failli donner avec Qobuz ou HDTracks si je ne parle qu'en audio.
Je réponds à vos messages dans des délais les plus rapides dont il m'est possible.
Merci de votre patience.
Répondre

Revenir à « Archives »