Как новый африканский алфавит пробился в Unicode: цифровая жизнь адлама

В 1989 году два брата из Гвинеи, 14-летний Ибрагим и 10-летний Абдулае Барри, придумали письменность для родного языка фульфульде, на котором говорят около 40 млн человек. В новой статье рассказываем, как за несколько десятилетий их алфавит — адлам — прошел путь от рисунков в школьных тетрадях до собственного блока в Unicode.

Зачем был нужен новый алфавит

Фульфульде веками записывали арабским письмом, но оно неточно передавало звуки. Единого стандарта не было, поэтому братья Барри придумали систему из 28 букв, которые пишутся справа налево. Они назвали ее ADLaM — это аббревиатура фразы «Alkule Dandayɗe Leñol Mulugol» («алфавит, оберегающий народы от исчезновения»).

Самиздат на адламе

На бумаге адлам прижился быстро. Братья создали сообщество единомышленников, стали переписывать книги и выпускать рукописную газету. Однако распространение нового письма вызывало и подозрения — его нельзя было прочесть без специального знания, поэтому власть воспринимала встречи сообщества настороженно.

В 2002 году Ибрагима арестовали, и около трех месяцев он провел под стражей без обвинения. В 2007 году братья переехали в США. К тому времени рукописное письмо достигло своих пределов, и чтобы охватить больше людей, его нужно было сделать пригодным для компьютеров.

Почему шрифта мало и нужен код

В США братья заказали разработку шрифта и раскладки клавиатуры для адлама — первый шаг к цифровой жизни письма. Однако одного шрифта оказалось недостаточно: он работал на их компьютерах, но на других устройствах превращался в арабские буквы. Причина была в том, что у букв адлама не было собственных кодовых позиций — чисел, за которыми компьютер закрепляет символы. Только с ними можно вводить букву, искать ее, копировать и пересылать между устройствами. Следующей задачей стало включение адлама в Unicode.

Как алфавит попал в стандарт

Ибрагим познакомился с Майклом Эверсоном, редактором Unicode. В 2013 году Эверсон помог братьям подать заявку на добавление адлама в стандарт. В июне 2016 символы письменности вошли в Unicode 9.0 и получили блок U+1E900–U+1E95F. Адлам хорошо вписался в цифровую среду: он использует стандартные для компьютеров механизмы — письмо справа налево, соединения букв и комбинируемые знаки.

Шрифт, выросший из орнамента

После включения в Unicode адламу понадобились шрифты, которые поддерживали бы его кодовые позиции. Благодаря братьям Барри, адлам вошел в семейство Noto — теперь он отображается на большинстве устройств без дополнительных шрифтов.

В 2023 году Microsoft заказала отдельный display-шрифт ADLaM Display — для заголовков, логотипов и других элементов, где текст должен привлекать внимание. За основу взяли элементы традиционных орнаментов народа фульбе.

Что Unicode дал адламу — и чего ему пока не хватает

Unicode открыл адламу дорогу в цифровую коммуникацию, но инфраструктура письменности остается неполной: еще предстоит создать словари, сервисы проверки орфографии и другие инструменты. Не все технические проблемы решены. Даже при поддержке Microsoft, Apple и Google письмо справа налево не всегда отображается корректно. 

Но путь, который прошел адлам — от тетрадных листов до смартфонов сотен тысяч людей, — показывает, что у языкового сообщества есть инструменты, чтобы добиться цифрового присутствия для своего алфавита.

Узнать подробнее о пути адлама и рассмотреть письменность можно в полной версии нашего материала.

Время чтения: 8 минут

🤖 «Системный Блокъ» @sysblok

«Систему образования в XXI веке нужно строить заново»: интервью с профессором и экспертом по ИИ Иваном Ямщиковым

Сегодня 1 сентября — день начала учебного года в школах и университетах. В этот день перечитываем интервью с профессором, руководителем ИИ-института CAIRO в Баварии и IT-предпринимателем Иваном Ямщиковым о том, как должно трансформироваться образование в эпоху больших языковых моделей. 

«Чтобы добиться тех улучшений, которые нам нужны (и с точки зрения самоактуализации, и с точки зрения роста ВВП), искусственный интеллект неизбежно придется внедрять в систему образования. Если сделать это правильно, ситуация улучшится. Если сделать неправильно — станет хуже».

Время чтения: 15 минут

🤖 «Системный Блокъ» @sysblok

Карьера в NLP: карта выживания для гуманитариев — новый проект «Системного Блока»

Почему большие языковые модели иногда уверенно выдают за правду то, чего на самом деле нет? Чем работа с текстами в AI отличается от привычного анализа языка? И можно ли прийти в NLP из филологии, перевода или лингвистики?

Мы запускаем новый проект о NLP — обработке естественного языка. Это область на стыке лингвистики, программирования и машинного обучения, благодаря которой работают машинный перевод, поиск, голосовые помощники, чат-боты и большие языковые модели.

На одной странице собраны материалы для тех, кто только начинает разбираться в языковых технологиях: студентов и выпускников филологических факультетов, людей с гуманитарным или междисциплинарным бэкграундом. 

Вы узнаете, какие роли существуют в NLP: от разметки и подготовки данных до оценки качества моделей, AI-тренинга, исследований и разработки. Мы расскажем, почему понимание смысла, контекста, стиля и языковых ошибок остается важным в эпоху LLM, а также как гуманитарию превратить курсовую или диплом в исследовательский проект на GitHub.

Отдельные материалы посвящены тому, что обычно кажется сложным: математике, машинному обучению и тому, как модель проходит путь от обучения до работы в продукте. Вы сможете разобраться, какой технический минимум нужен на старте, а также узнать об образовательных программах по компьютерной лингвистике, машинному обучению и искусственному интеллекту.

Подробнее — на странице проекта.

🤖 «Системный Блокъ» @sysblok