Test ABx : ne faites-pas confiance à votre cerveau !
Le monde audiophile aime les débats : mp3 vs ogg, 320kbps vs 192kbps, FLAC vs MP3, 24/96 vs 16/44 : les sujets à controverse (et à troll?) ne manquent pas et l’on assiste très souvent sur les forum spécialisés à des débat passionnés entre gens généralement de bonne foi qui s’envoient au visage arguments, contre arguments, ressentis, retours d’expérience… le tout dans la subjectivité la plus totale.
Sommaire
Votre cerveau est votre ennemi
La raison principale de ces débats sans fin et de la confusion qui peut régner sur le sujet est que nous souffrons tous de biais cognitifs bien connus des psychologues et autres neuroscientifiques : la suggestion.
Pour illustrer cela, prenons l’exemple d’un autre domaine que celui de l’audio : le vin.
Si je vous serre deux verres, l’un contenant un saint emillion chateau figeac 1971 par exemple, et l’autre un vin de supermarché à 3€ contenant autant de sulfites que de raisin et que vous ME VOYEZ vous servir, il est probable que dans 99 cas sur 100, vous trouviez le chateau figeac meilleur.
Eh oui madame, un Romanee-Conti Grand Cru est forcément moins bon quand on ne sait pas que ça en est un !
Maintenant recommençons l’expérience en occultant la vue : vous ne savez pas quel verre contient quoi, pensez-vous réellement que 99 personnes choisiront le bon vin? Probablement pas.
Pour résumer : savoir que A est meilleur B va influencer votre perception des choses de façon inconsciente, jusqu’à vous persuader de choses totalement fausses : c’est sur ce principe que reposent notamment le principe des médicaments placebo.
Les patients qui prennent un placebo ne se rendent non seulement pas compte de la supercherie, mais poussent le bouchon jusqu’à… guérir comme le montre cet article !
Test ABx : un peu de rationnel dans ce monde subjectif
Et bien que ce soit pour les médicaments, le vin ou l’audio, votre cerveau fonctionne de la même façon : si je vous demande de comparer un mp3 128kbps à un fichier flac lossless par exemple, vous allez dans 99% des cas me répondre que le flac sonne sans aucun doute possible mieux.
Le son vous paraitra plus riche, les détails plus présents… mais comment être certain que vous entendez réellement la différence et que vous n’êtes pas victime du biais cognitif expliqué plus haut?
La réponse réside dans l’utilisation de test ABx qui n’est rien d’autre qu’une petite expérience scientifique sans prétention et qui va pourtant vous en apprendre long sur votre matériel, vos fichiers et vous même.
Autrement dit, plutôt que de se baser sur son intuition, vous allez faire confiance à la science et au test ABx dont les conclusions sont bien souvent aussi surprenantes qu’implacables
Qu’est ce que le test ABx ?
Le terme « test ABx » veut tout simplement dire que vous allez comparer au moins 2 versions (A, B…X) afin de déterminer laquelle est la meilleure. C’est un mode de test qu’on retrouve également dans la biologie, mais aussi dans le marketing web : comparer 2 versions de la même page web avec de légères différences pour définir laquelle fonctionne le mieux, on parle alors d’AB tests multi variés.
Avec un test ABx vous pouvez comparer plusieurs versions d’un même morceau par exemple : un mp3 128, un mp3 320kbps et un flac en 24/96.
Mais on peut également utiliser le test ABx pour comparer du matériel : on écoute le même morceau sur deux paires d’enceintes différentes, deux amplis différents, trois dacs différents… en clair dès qu’il s’agit de départager des concurrents, on appelle l’ami test ABx avant d’affirmer que les enceintes à 500€ sonnent mieux que celles à 400€ !
Les Eltax Monitor III, championnes du test ABx
(Cliquez pour voir le produit)
Il convient ensuite de répéter ce test plusieurs fois avec plusieurs morceaux de styles différents, il faut compter au moins 10 tests avant de pouvoir commencer à avoir une tendance.
Je veux faire un test ABx, comment faire?
Si vous voulez tester votre aptitude à percevoir la différence de qualité entre un FLAC 24/96 et un mp3 128 par exemple :
Vous devez générer le mp3 à partir du FLAC grace à un convertisseur, répéter l’opération sur 10 morceaux différents et mettre les 20 fichiers dans une playlist en les nommant « Morceau 1_A », « Morceau 1_B », puis « Morceau 2_A » etc. en veillant à ce que A soit toujours la version 24/96 et B la version mp3 128.
Ensuite, vous demandez à un proche de jouer les deux variantes A et B du même morceau à la suite, dans un ordre aléatoire qu’il aura noté, et vous noterez de votre coté si vous préférez la 1ère ou 2ème lecture.
A la fin des des tests, vous comparez les résultats : vous devez obtenir au moins 90% de bons résultats, en dessous on considère que le résultat est plus dû au hasard (un sourd aurait 50% de bons résultats) qu’à votre aptitude à entendre la différence.
Sinon il y a également certains sites qui proposent un test ABx basique mais efficace comme chez Digitalfeed par exemple.
Sinon, il existe également un composant foobar dédié au test ABx qui va piocher dans votre bibliothèque des morceaux au hasard, et vous faire un compte rendu des résultats.
Test ABx : ne pas généraliser vos conclusions
Le test ABx permet bien souvent de casser des mythes et des certitudes : j’ai par exemple été absolument incapable de faire la différence entre un mp3 320 kbps et le FLAC 16/44 équivalent. Pour autant dois-je faire la conclusion que le FLAC ne sert à rien? Pas vraiment.
En effet, les résultats que vous obtenez n’ont pas la prétention de répondre de façon péremptoire à la question mais veulent simplement dire qu’avec VOTRE MATERIEL et VOS OREILLES vous n’avez pas été capable d’entendre une différence.
Le résultat peut donc être totalement différent sur une paire d’enceintes de meilleure qualité, un casque plus fidèle ou tout simplement des oreilles en meilleur état !
Bref, le test ABx ne mettra pas fin aux débats animés de la communauté audiophile, il permet cependant de baser ses affirmations sur des réalités et non sur des impressions, et surtout de connaitre ses limites physiques et matérielles, ce qui n’est déjà pas si mal.
@Gautier : si l’on est pas capable d’entendre des différences à quoi bon payer plus cher pour les avoir ?
Je veux dire, on voit à peine 1% du spectre des ondes magnétiques il ne nous viendrait pas à l’esprit de se payer un homecinema qui restitue les ultraviolets ou les infrarouges si ?
Bonjour, merci pour cet article. Il n’y a que les tests ABX qui peuvent permettre de savoir en toute objectivité. Sur Carmina, par exemple, en tests ABX, la différence est assez sensible entre qualité CD et qualité DVD sur de la musique. Les 2 versions ont été achetées sur Qobuz. Le mastering semble être le même. Et ce n’est pas dans les aigus que la différence se joue, ni sur les silences ! Enfin, pas à mon oreille en tout cas. C’est sur la profondeur grâce à un bas médium mieux défini en qualité DVD, ce qui donne aussi une très légère impression de douceur aux chœurs. J’ai fait le test sur des Passion GX2 version 4 ohm. En utilisant le Plugin ABX de foobar, et un ampli Lyngdorf TDAI 1120. Donc, ce n’est pas du tout du matériel hors de prix, ni même du matériel à 10.000€. Les vendeurs de HighRés ne vous vendent pas du rêve. Mais oui, beaucoup de systèmes seront incapables de vous dévoiler les différences. N’en concluez pas pour autant qu’il n’y en a pas !
@Noumayos : merci pour votre partage intéressant ! Il est vrai que quand on se base uniquement sur nos sens de façon objective, beaucoup de mythes audiophile volent en l’éclat soit par incapacité totale de faire une quelconque différence soit tout simplement que ça n’en vaut ni la peine ni le budget de dépenser 100 fois plus cher pour avoir 1% de mieux dans certaines conditions et de façon incertaine…
hum … quelques commentaires de gens … tres surs de leurs avis que je lis 🙂
pour ma part … je crois qu’il y a tellement de parametres qui rentrent en compte que LE test objectif, par definition, ne peut pas exister, comme le materiel ultime, comme la qualité de fichier ultime …
premierement, oui, comme on peut le lire, on est pas tous equipés pareil niveau oreilles … on n’entend pas tous pareil , nos oreilles sont pas tous en bon etat, ou bien lavées …ou je ne sais quoi d’autre 🙂
apres, question gout , tout le monde n’apprecie pas les memes sons , certains preferent plus de grave ou plus d’aigue, d’autres les deux et pas de medium, les profil en v …toussa ( c’est mon cas … 😉 ) c’est entre le « culturel » et l’inconscient c’est vrais 😉
apres, y’a… la question du matos … c’est vrais aussi … ecouter du flac sur une enceinte blutooth à 100 € ou un casque sans fil … incapable de sortir autant de debit … ç’est … pour le moins amusant 😉
puis y’a le type de musique que l’on ecoute … un mec qui va ecouter un orchestre symphonique avec plus de 100 instruments, dont certains sonnent divinement, avec des virtuoses … et un mec qui va ecouter de la k-pop ou du david guetta n’ont peut etre pas les memes besoins …de precision dans la retranscription du morceau … (…) ça n’est pas pejoratif … et pas un jugement de valeur, j’ai moi meme des gouts tres éclectiques…
par contre … concernant le materiel , j’ai renoncé depuis longtemps a l’audiophile …je n’ai plus d’ampli rotel … je n’ai plus qu’un ampli FDA smsl q5 pro qui fait hurler les collegues audiophiles … j’en ai dejà vexé deux au travail en faisant des blind test justement … coryant qu’ils ecoutaient du matos hors de prix alors que l’ampli a la taille d’une boite d’alumettes et coute 55 euros … pareil pour les « monster cable vs le cable electrique … sur de bonne enceintes … en blind test, impossible de faire la difference … pareil pour les pointes sous les enceintes … en blind test toujours … j’abonde vraiment dans le sens de l’article …
disons que pour mes choix de fichiers, en 2020, ma capacité de stockage me permet d’utiliser du flac … j’ai un casque hires sony que j’ai acheté pour tester … et j’avais un FIIO … pour le portable … mais …
je suis revenu sur mon portable xiaomi … et mes playlist sont sur deezer … on m’a meme donné une tres bonne platine vinyle et j’ai une quinzaine de disques … pareil, j’ai testé la soit disant qualité de l’analogique … rien que je ne puisse trouver de mieux que sur un cd en jouant avec l’egaliseur … et berner tout le monde … j’ai aussi quelques sacd …et pareillement … c’est tres dur de trouver que ..; le jeu en vaille la chandelle plus que ça … bref … mes flacs sur mon smsl q5 finalement sont un tres bon compromis me concernant …
en voiture flac ou mp3 … aucune difference … sur mon telephone, avec mes casques … il faut que je sois extremement concentrés pour -parfois – sur certains morceaux , faire ce que je crois etre la difference …
mais un mp3 320 … c’est dejà tout a fait ecoutable … hé, en 2001, je recuperais quand j’avais de la chance, du 128 !!! alors 320 … franchement, c’est TRES PEU compressé… je pense que c’est tout a fait sympa comme qualité pour passer une harman kardon onyx studio 3 😉 , quand j’ecoute pas mes playslist deezer … 😉
ce qui est vrais pour moi ne le sera bien entendu pas pour aucun d’entre vous , et reciproquement …
encore une fois … cet article me plait bien 🙂
@Bid_T : Je n’aurais pas mieux dit 🙂
Michel Foulon, sans vouloir vous vexer, vous êtes l’exemple exact des biais cognitifs que cet article dénonce. Vous théorisez sur ce que serait une écoute de mp3 et flac sur un mauvais puis sur un bon système et en déduisez, en toute subjectivité, que le flac sera forcément détectable dans le second cas. C’est quoi un système de haute qualité pour vous? Parce qu’avec le mien qui avoisine les 10000 euros je n’y arrive qu’une fois sur deux (avec du MP 320 kbps), ce qui n’est pas statiquement significatif puisque le hasard ferait de même. A moins que j’ai des oreilles de plomb et vous des oreilles d’or… Osez tenter l’expérience, vous ne vous en porterez pas plus mal et seules vos certitudes pourront en prendre un coup.
Si on fait le test MP3, FLAC avec du mauvais matériel, on n’entendra évidemment pas de différence. Parce que le mauvais matériel ne reproduira pas les subtilités du FLAC.
Si on fait le test avec du matériel de haute qualité, il est probable que vous ferez la différence entre le MP3 et le FLAC surtout au niveau de la finesse des aigus sous réserve que le morceau à écouter ne soit pas « noyé » par des basses qui masquent le message sonore et que le message sonore proposé soit « riche » en fréquences (graves médiums aigus) et que le tout soit équilibré.
Bref
*Pour certains messages sonores même avec du matériel de haute qualité, il est probable qu’on ne fera pas la différence entre MP3 et FLAC.
*Pour des messages sonores riches, bien équilibrés, bien enregistrés et écoutés avec du matériel de haute qualité, il est probable qu’on fera la différence entre le MP3 et le FLAC
@Dante012 : merci ! En effet, il est facile de dire que « plus, c’est forcément mieux » mais dans la vraie vie, ce n’est pas aussi simple. Si techniquement parlant un flac est forcément supérieur, cela ne veut pas dire que cette supériorité théorique est traduite dans la réalité, c’est toute l’utilité du test AB : se détacher de nos biais cognitifs pour nous concentrer sur les faits et uniquement les faits.
Super article qui résume la situation de façon parfaitement concise.
Quantité de débats sont dus au fait que les gens, souvent exempts de compétences techniques dans un dit sujet, s’en remettent à des bases sans le moindre fondement pour affirmer sur ce sujet des choses qui ne sont tout bonnement pas vraies.
Un blind test, il n’y a que ça de vrai. Et s’il ne met pas effectivement fin à ces débats, il permet en tout cas de montrer qui a réellement tort et qui sait au contraire de quoi il parle.
Si quelqu’un prétend que le FLAC est mieux que le MP3 320 kbps mais n’arrive pas à les différencier dans un blind test, c’est qu’il dit de la merde, point final. Et si ça ne permet pas d’affirmer que sa conclusion est fausse, ça brise en revanche tout son raisonnement et donc, toute sa crédibilité.
Tout ça pour dire qu’avant de parler de « vrai » ou de « faux », il vaut mieux parler de crédibilité. En l’occurrence, quand on prétend quelque chose, celle-ci perd carrément en crédibilité si un blind test nous trahit.
Et de mon expérience, les gens qui prétendent que le FLAC est meilleur que le MP3 320 kbps se révèlent souvent incapables de les différencier dans un blind test.
Alors, ça ne met pas fin au débat, mais pour ma part, je m’assure toujours que je sais de quoi je parle. Simple question de logique.