python3-Unidecode

Часто трапляється, що у вас є текстові дані в Unicode, але потрібно представити їх у ASCII. Наприклад, під час інтеграції зі застарілим кодом, який не підтримує Unicode, або для зручнішого введення неримських імен на американській клавіатурі, або під час створення ASCII-ідентифікаторів машини з людинозчитних рядків Unicode, які все ж мають залишатися більш-менш зрозумілими (популярний приклад — створення URL-slug із заголовка статті). У більшості цих прикладів ви могли б представляти символи Unicode як «???» або «\\15BA\\15A0\\1610», згадавши два крайні випадки. Але це майже марно для того, хто справді хоче прочитати, що говорить текст. Те, що пропонує Unidecode — це золота середина: функція unidecode() приймає дані Unicode і намагається представити їх символами ASCII (тобто універсально відображуваними символами між 0x00 і 0x7F), де компроміси під час відображення між двома наборами символів обираються так, щоб бути близькими до того, що обрала б людина з американською клавіатурою. Якість отриманого ASCII-представлення різниться. Для мов західного походження вона має бути від ідеальної до доброї. Натомість транслітерація (тобто передача римськими літерами вимови, вираженої текстом в іншій системі письма) мов на кшталт китайської, японської чи корейської — дуже складне питання, і ця бібліотека nавіть не намагається його вирішити. Вона обмежується безконтекстним відображенням символ за символом. Тож хороше правило: що далі письмо, яке ви транслітеруєте, від латинського алфавіту, то гіршою буде транслітерація. Зауважте, що цей модуль загалом дає кращі результати, ніж просте знімання діакритики з символів (що можна зробити в Python за допомогою вбудованих функцій). Він базується на вручну налаштованих відображеннях символів, які, наприклад, також містять ASCII-наближення для символів і нелатинських алфавітів. Це портування на Python модуля Perl Text::Unidecode від Sean M. Burke <sburke@cpan.org>.