python3-Unidecode

Es kommt oft vor, dass Sie Textdaten in Unicode haben, diese aber in ASCII darstellen müssen. Zum Beispiel bei der Integration mit Legacy-Code, der Unicode nicht unterstützt, oder zur einfacheren Eingabe nicht-römischer Namen auf einer US- Tastatur, oder beim Erzeugen von ASCII-Maschinenkennungen aus menschlich lesbaren Unicode-Zeichenketten, die dennoch einigermaßen verständlich bleiben sollen (ein beliebtes Beispiel ist das Erzeugen eines URL-Slugs aus einem Artikel- Titel). In den meisten dieser Beispiele könnten Sie Unicode-Zeichen als „???“ oder „\\15BA\\15A0\\1610“ darstellen – zwei extreme Fälle. Aber das ist nahezu nutzlos für jemanden, der den Text tatsächlich lesen möchte. Was Unidecode bietet, ist ein Mittelweg: Die Funktion unidecode() nimmt Unicode-Daten und versucht, sie in ASCII-Zeichen darzustellen (d. h. die universell anzeigbaren Zeichen zwischen 0x00 und 0x7F), wobei die Kompromisse beim Abbilden zwischen zwei Zeichensätzen so gewählt werden, dass sie nahe an dem liegen, was ein Mensch mit einer US-Tastatur wählen würde. Die Qualität der resultierenden ASCII-Darstellung schwankt. Für Sprachen westlicher Herkunft sollte sie zwischen perfekt und gut liegen. Andererseits ist die Transliteration (d. h. die Wiedergabe der Aussprache in lateinischen Buchstaben, die der Text in einem anderen Schriftsystem ausdrückt) von Sprachen wie Chinesisch, Japanisch oder Koreanisch ein sehr komplexes Thema, und diese Bibliothek versucht nicht einmal, es zu lösen. Sie beschränkt sich auf kontextfreie zeichenweise Abbildung. Eine gute Faustregel ist daher: Je weiter die Schrift, die Sie transliterieren, vom lateinischen Alphabet entfernt ist, desto schlechter wird die Transliteration. Beachten Sie, dass dieses Modul im Allgemeinen bessere Ergebnisse liefert als das bloße Entfernen von Akzenten von Zeichen (was in Python mit eingebauten Funktionen möglich ist). Es basiert auf handabgestimmten Zeichenabbildungen, die zum Beispiel auch ASCII-Näherungen für Symbole und nicht-lateinische Alphabete enthalten. Dies ist ein Python-Port des Perl-Moduls Text::Unidecode von Sean M. Burke <sburke@cpan.org>.