python313-Unidecode

Il arrive souvent d’avoir des données textuelles en Unicode alors qu’il faut les représenter en ASCII. Par exemple lors de l’intégration avec du code hérité qui ne prend pas en charge Unicode, ou pour faciliter la saisie de noms non romains sur un clavier américain, ou lors de la construction d’identifiants machine ASCII à partir de chaînes Unicode lisibles par un humain qui doivent rester quelque peu intelligibles (un exemple populaire est la création d’un slug d’URL à partir du titre d’un article). Dans la plupart de ces exemples, vous pourriez représenter les caractères Unicode par « ??? » ou « \\15BA\\15A0\\1610 », pour citer deux cas extrêmes. Mais c’est presque inutile pour quelqu’un qui veut réellement lire ce que dit le texte. Ce qu’Unidecode fournit, c’est un juste milieu : la fonction unidecode() prend des données Unicode et tente de les représenter en caractères ASCII (c’est-à-dire les caractères universellement affichables entre 0x00 et 0x7F), où les compromis pris lors du mappage entre deux jeux de caractères sont choisis pour être proches de ce qu’une personne avec un clavier américain choisirait. La qualité de la représentation ASCII résultante varie. Pour les langues d’origine occidentale, elle devrait être entre parfaite et bonne. En revanche, la translittération (c’est-à-dire transmettre, en lettres romaines, la prononciation exprimée par le texte dans un autre système d’écriture) de langues comme le chinois, le japonais ou le coréen est une question très complexe et cette bibliothèque n’essaie même pas de la traiter. Elle se limite au mappage caractère par caractère sans contexte. Une bonne règle empirique est donc que plus l’écriture que vous translittérez est éloignée de l’alphabet latin, plus la translittération sera mauvaise. Notez que ce module produit généralement de meilleurs résultats que le simple retrait des accents des caractères (ce qui peut se faire en Python avec des fonctions intégrées). Il repose sur des mappages de caractères affinés à la main qui, par exemple, contiennent aussi des approximations ASCII pour les symboles et les alphabets non latins. Il s’agit d’un portage Python du module Perl Text::Unidecode de Sean M. Burke <sburke@cpan.org>.