python311-Unidecode

Muitas vezes você tem dados de texto em Unicode, mas precisa representá-los em ASCII. Por exemplo ao integrar com código legado que não oferece suporte a Unicode, ou para facilitar a entrada de nomes não romanos em um teclado dos EUA, ou ao construir identificadores de máquina ASCII a partir de cadeias Unicode legíveis por humanos que ainda devem ser um pouco inteligíveis (um exemplo popular disso é criar um slug de URL a partir do título de um artigo). Na maioria desses exemplos você poderia representar caracteres Unicode como «???» ou «\\15BA\\15A0\\1610», para mencionar dois casos extremos. Mas isso é quase inútil para alguém que realmente quer ler o que o texto diz. O que o Unidecode oferece é um meio-termo: a função unidecode() recebe dados Unicode e tenta representá-los em caracteres ASCII (ou seja, os caracteres universalmente exibíveis entre 0x00 e 0x7F), em que os compromissos na mapeação entre dois conjuntos de caracteres são escolhidos para ficar próximos do que uma pessoa com teclado dos EUA escolheria. A qualidade da representação ASCII resultante varia. Para idiomas de origem ocidental, deve ficar entre perfeita e boa. Por outro lado, a transliteração (ou seja, transmitir, em letras romanas, a pronúncia expressa pelo texto em outro sistema de escrita) de idiomas como chinês, japonês ou coreano é uma questão muito complexa e esta biblioteca nem sequer tenta abordá-la. Ela se limita ao mapeamento caractere a caractere sem contexto. Assim, uma boa regra prática é que quanto mais longe a escrita que você translitera estiver do alfabeto latino, pior será a transliteração. Observe que este módulo geralmente produz melhores resultados do que simplesmente remover acentos dos caracteres (o que pode ser feito em Python com funções embutidas). Ele se baseia em mapeamentos de caracteres ajustados manualmente que, por exemplo, também contêm aproximações ASCII para símbolos e alfabetos não latinos. Esta é uma conversão para Python do módulo Perl Text::Unidecode de Sean M. Burke <sburke@cpan.org>.