python311-Unidecode

Succede spesso di avere dati di testo in Unicode, ma di doverli rappresentare in ASCII. Ad esempio quando si integra con codice legacy che non supporta Unicode, o per facilitare l’inserimento di nomi non romani su una tastiera statunitense, o quando si costruiscono identificatori macchina ASCII a partire da stringhe Unicode leggibili da un umano che devono restare in qualche modo intelligibili (un esempio popolare è creare uno slug di URL dal titolo di un articolo). Nella maggior parte di questi esempi si potrebbero rappresentare i caratteri Unicode come «???» o «\\15BA\\15A0\\1610», per citare due casi estremi. Ma questo è quasi inutile per chi vuole davvero leggere ciò che il testo dice. Ciò che Unidecode offre è una via di mezzo: la funzione unidecode() prende dati Unicode e cerca di rappresentarli in caratteri ASCII (cioè i caratteri universalmente visualizzabili tra 0x00 e 0x7F), dove i compromessi nella mappatura tra due set di caratteri sono scelti per essere vicini a ciò che sceglierebbe una persona con una tastiera statunitense. La qualità della rappresentazione ASCII risultante varia. Per le lingue di origine occidentale dovrebbe essere tra perfetta e buona. D’altra parte la traslitterazione (cioè trasmettere, in lettere romane, la pronuncia espressa dal testo in un altro sistema di scrittura) di lingue come cinese, giapponese o coreano è un problema molto complesso e questa libreria non tenta nemmeno di affrontarlo. Si limita alla mappatura carattere per carattere senza contesto. Quindi una buona regola empirica è che più lo script che stai traslitterando è lontano dall’alfabeto latino, peggiore sarà la traslitterazione. Nota che questo modulo produce in genere risultati migliori rispetto al semplice rimozione degli accenti dai caratteri (che si può fare in Python con funzioni integrate). Si basa su mappature di caratteri regolate a mano che, ad esempio, contengono anche approssimazioni ASCII per simboli e alfabeti non latini. Questa è una conversione in Python del modulo Perl Text::Unidecode di Sean M. Burke <sburke@cpan.org>.