Твоя MT-система набрала 42 BLEU. Конкурент - 38. Значить, твоя краща? Не обов’язково - і саме ця невизначеність робить оцінку якості MT одним з найспірніших питань у комп’ютерній лінгвістиці.
Три підходи домінують у розмові: редакційна відстань (та її варіанти TER, HTER), BLEU і людська оцінка. Вони вимірюють абсолютно різні речі, мають абсолютно різні сліпі зони, і корисні в абсолютно різних ситуаціях. Ось що кожна з них реально вимірює - і де кожна валиться.
Чому вимірювати якість MT складніше, ніж здається¶
Переклад може бути точним, але неприродним. Або природним, але неточним. Або точним і природним, але культурно хибним. Ці три типи провалу вимагають принципово різних методів виявлення.
Базова проблема: щоб виміряти якість, потрібен еталон. І єдиний справді надійний еталон - це людська оцінка, яка є дорогою, повільною та непослідовною між різними оцінювачами. Автоматизовані метрики апроксимують цю оцінку дешево і швидко. Всі вони чимось жертвують у процесі.
WMT 2024 Metrics Shared Task - щорічний бенчмарк, що тестує кореляцію автоматичних метрик з людськими оцінками - встановив, що нейронні метрики на кшталт COMET значно перевершують BLEU, але все ще поступаються людській надійності для специфічних типів помилок.
Редакційна відстань: рахуємо зміни¶
Редакційна відстань (вона ж відстань Левенштейна) - концептуально найпростіша MT-метрика: скільки операцій потрібно, щоб перетворити вихід MT на референсний переклад?
Стандартні операції: - Вставки - додати слово, якого бракує - Видалення - прибрати слово, якого не повинно бути - Заміни - замінити неправильне слово правильним - Зсуви - перемістити фразу на правильну позицію
На рівні символів рахуються зміни окремих символів. На рівні слів - зміни слів. Результат зазвичай нормалізується за довжиною тексту, щоб отримати відсоток, а не абсолютне число.
Як пояснює Slator, вихід MT - це відправна точка, а фінальна версія цільовою мовою - кінцева. Редакційна відстань вимірює розрив між ними. Оцінка 0% означає, що правок не знадобилося. Оцінка 80% - що 80% слів довелося редагувати.
Де корисна: Редакційна відстань є основою того, як CAT-інструменти на кшталт memoQ та Phrase відстежують, наскільки перекладач змінив чернетку від MT. На ній базується ціноутворення MTPE - більше правок означає більше роботи, означає вищу ставку.
Критичне обмеження: Редакційна відстань відстежує кількість змін, але не їхню якість. Можна зробити мінімум правок і все одно отримати поганий переклад. І перекладач, який стилістично переписує фактично правильну чернетку MT, покаже велику редакційну відстань там, де цього не вимагалося. Метрика сліпа до того, ЧОМУ були зроблені зміни.
BLEU: машина підрахунку n-грам¶
BLEU (Bilingual Evaluation Understudy) - метрику запропонували Papineni та ін. з IBM Research у 2002 році, і вона домінувала в оцінці MT два десятиліття. Базова ідея: порівняти вихід MT з одним або кількома референсними перекладами, рахуючи, скільки послідовностей слів (n-грам) вони мають спільного.
Як це обчислюється: 1. Рахуємо, скільки 1-словних послідовностей (уніграм) у виході MT зустрічається в референсі 2. Те саме для 2-словних (біграм), 3-словних (триграм) і 4-словних послідовностей 3. Обчислюємо точність для кожного розміру n-грам 4. Обчислюємо геометричне середнє цих значень точності 5. Застосовуємо штраф за стислість, якщо вихід MT коротший за референс
Результат: оцінка від 0 до 1, зазвичай виражена як 0-100. Вище = більше збігів з референсом = нібито кращий переклад.
Типові діапазони BLEU:
| Оцінка | Приблизна інтерпретація |
|---|---|
| < 15 | Погана якість, ледь зрозуміло |
| 15-30 | Приблизно зрозуміло, висока частота помилок |
| 30-50 | Прийнятно для вузьких технічних доменів |
| 50-60 | Наближається до людського перекладу в обмежених темах |
| > 60 | Рідко; тільки у дуже вузьких, повторюваних доменах |
Ці діапазони сильно різняться залежно від мовної пари. BLEU для англійської-французької є вищим, ніж для англійської-арабської, що є вищим за англійську-японську - через відмінності в порядку слів та морфологічну складність.
Що BLEU робить добре: Він швидкий, повністю автоматизований і відтворюваний. Можна запустити BLEU на 10 мільйонах пар речень за хвилини. На рівні корпусу він розумно корелює з людськими оцінками - порівнюючи дві MT-системи на одному тестовому наборі, BLEU зазвичай ранжує їх правильно.
Що BLEU робить неправильно: Багато. Детальний аналіз недоліків BLEU каталогізує основні проблеми: семантична сліпота (не розрізняє “великий” і “величезний”, чи “банк” як установа і “берег” річки), залежність від референсу (потрібні ідеальні людські переклади-еталони), нечутливість до заперечення (переклад, що обертає зміст словом “не”, може набрати майже стільки ж балів, скільки правильний), і погана робота з морфологічно багатими мовами.
Один NLP-дослідник звернув увагу на цей парадокс:
Нейронні MT-системи з нижчим BLEU іноді виявляються кращими за людськими оцінками, ніж статистичні MT-системи з вищим BLEU. Метрика калібрувалась для старої ери MT.
Цей розрив став критичним з виходом нейронного MT після 2016 року. NMT-системи видають плавні, природні переклади, що відрізняються від референсів за формулюванням, але краще зберігають зміст. BLEU штрафує за ці відмінності навіть тоді, коли переклад відмінний.
TER і HTER: редакційна відстань зустрічає пост-редагування¶
TER (Translation Edit Rate) - це редакційна відстань, оформлена як стандартизована MT-метрика. Запропонована у 2006 році Сновером та ін., TER вимірює мінімальну кількість правок, необхідних для перетворення виходу MT на референс, поділену на довжину референсу.
TER = (потрібні правки) / (довжина референсу)
TER 0 означає, що вихід MT точно збігається з референсом. TER 1.0 - що довелося б переписати стільки слів, скільки в самому референсі. На практиці хороший загальнодоменний MT досягає TER між 0.2 і 0.5.
На відміну від BLEU, TER враховує порядок слів через “зсуви фраз” - переміщення правильно перекладеної фрази на потрібну позицію рахується як одна правка, а не кілька окремих помилок. Це робить TER більш поблажливим за BLEU до перекладів, де слова правильні, але стоять не там.
HTER (Human-Targeted TER) - більш практичний варіант: замість порівняння з заздалегідь написаним референсом він порівнює з людською пост-редакцією. Навчений пост-редактор реально виправляє вихід MT, а потім вимірюється, скільки правок він зробив.
Це важливо, тому що стандартна TER використовує референсні переклади, написані незалежно від виходу MT - вони являють собою ідеал, але не обов’язково мінімально необхідні виправлення. HTER використовує реальну пост-редакторську роботу як еталон, що краще відображає реальні зусилля.
Згідно з дослідженням з HTER, метрика “краще корелює з індивідуальними людськими оцінками, ніж кореляції між самими оцінювачами” - фактично більш узгоджена, ніж два людських оцінювачі, що оцінюють один і той самий текст.
Де TER/HTER показують себе краще: Вимірювання зусиль на пост-редагування для ціноутворення та оптимізації воркфлоу. Якщо твій HTER - 0.12, перекладачі вносять мінімальні виправлення - це зона легкого MTPE. Якщо 0.45 - фактично переписують. Це дані для переговорів про ставки MTPE.
Де вони не дотягують: Та сама фундаментальна проблема, що й у чистої редакційної відстані - рахують зміни, а не якість. Висока HTER може означати поганий MT або непотрібні стилістичні правки. Без спостереження за процесом роботи пост-редактора не відрізниш одне від іншого.
Людська оцінка: MQM і Direct Assessment¶
Людська оцінка - повільна, дорога і мінлива між оцінювачами. Вона також єдиний метод, що надійно виявляє типи провалів, які пропускають автоматизовані метрики.
Домінують два фреймворки:
Direct Assessment (Пряма оцінка)¶
Оцінювач читає вихід MT і ставить йому оцінку за шкалою (зазвичай 0-100) за адекватністю чи беглістю. Простий, швидкий в анотуванні, легкий для агрегування. WMT роками використовував DA як основний протокол людської оцінки.
Проблеми: оцінки абсолютні, а не порівняльні. Міжоцінювальна узгодженість - помірна. Оцінювачі схильні бути поблажливими до плавних, але неточних перекладів - вони добре читаються, тому здаються правильними. І DA не показує, що саме не так - тільки наскільки погано загалом.
MQM (Multidimensional Quality Metrics)¶
MQM - поточний золотий стандарт для професійного оцінювання MT. Навчені анотатори виявляють конкретні відрізки помилок, класифікують тип помилки і призначають ступінь тяжкості:
- Помилки точності: зміни змісту, пропуски, додавання, неправильний переклад
- Помилки беглості: граматика, орфографія, стиль, регістр
- Термінологічні помилки: неправильні галузеві терміни
- Помилки локалізаційних конвенцій: неправильний формат дати, символи валюти тощо
Ступені тяжкості: незначна, серйозна, критична.
Критична помилка точності (зміст повністю перевернутий) штрафує набагато більше, ніж незначна проблема з беглістю (трохи незручне формулювання). Фінальна оцінка MQM агрегує ці штрафи в числовий показник якості.
WMT 2024 Metrics Task використовував MQM-оцінювання як основний золотий стандарт, з яким вимірювались усі автоматичні метрики. Міжоцінювальна узгодженість MQM (близько 0.58 для англійської-німецької) суттєво вища, ніж у DA.
Мінус: потрібні навчені лінгвісти, на документ іде кілька годин, і витрати зростають лінійно з обсягом тексту. Це нереально для оцінки MT-систем під час розробки чи для моніторингу продакшн-пайплайнів у реальному часі.
COMET і нейронні метрики: покоління після BLEU¶
З 2019 року новий клас метрик - навчені метрики на основі референсів - стабільно перевершує BLEU у кореляції з людськими оцінками.
COMET (Crosslingual Optimized Metric for Evaluation of Translation) - найбільш широко прийнята. Вона використовує попередньо навчений багатомовний енкодер (XLM-RoBERTa), донавчений на людських оцінках якості. Замість підрахунку збігів n-грам, COMET кодує джерело, референс і вихід MT у семантичні вектори і обчислює схожість у цьому просторі.
Результат: COMET вловлює семантичну еквівалентність, яку BLEU пропускає. “Автомобіль” і “машина” відрізнятимуться в BLEU; COMET розуміє, що вони означають одне й те саме.
На WMT 2024 Metrics Task метрики сімейства COMET досягли найвищих кореляцій з людськими оцінками на рівні системи - значно перевищивши BLEU, ChrF і TER. Нові розширення на кшталт xCOMET додають детальне виявлення помилок, наближаючись до автоматизованого MQM.
Але COMET теж має обмеження. Дослідження на Translated.com виявило, що COMET може не впоратись з виходами MT від великих мовних моделей, що стилістично відрізняються від традиційних MT-виходів, на яких він навчався. Крім того, COMET обчислювально важчий за BLEU, а референсна версія COMET все ще потребує референсних перекладів для кожного сегменту.
Яку метрику і коли використовувати¶
Єдина метрика для всіх ситуацій не існує:
| Завдання | Рекомендована метрика | Чому |
|---|---|---|
| Швидке порівняння систем при розробці | BLEU + COMET | BLEU для відтворюваності, COMET для надійності |
| Ціноутворення та трекінг зусиль MTPE | HTER | Безпосередньо вимірює фактичні зусилля при пост-редагуванні |
| Моніторинг якості в продакшні | COMET-QE (без референсу) | Не потрібен референсний переклад для кожного пакету |
| Юридичний/медичний/критично важливий контент | MQM-оцінювання людьми | Автоматичні метрики пропускають критичні помилки точності |
| Порівняння між мовними парами | COMET | Краща між-мовна калібровка, ніж у BLEU |
| Звіт для нетехнічних стейкхолдерів | BLEU | Звична шкала, легко пояснити |
Практичний підхід великих MT-команд: COMET як основний автоматизований сигнал, BLEU для порівняння з історичними даними, і регулярні MQM-аудити на вибірці (наприклад, 500 речень на місяць) для виявлення дрейфу, який автоматичні метрики пропускають.
Головний урок 25 років досліджень оцінювання MT: будь-яка одна метрика дає часткову картину. BLEU говорить про одне. HTER - про інше. Жодна не говорить того, що говорить MQM. Для всього клієнтського - регулярне людське оцінювання не опція, а єдиний спосіб знати, що реально відвантажується.
Якщо ти ведеш MTPE-воркфлоу, практична відправна точка: HTER для ціноутворення роботи, COMET для бенчмаркингу MT-рушія, MQM-spot-перевірки для доменів, де помилки точності мають реальні наслідки.
FAQ¶
Який BLEU-бал вважається хорошим для машинного перекладу?¶
Залежить від мовної пари та домену. Приблизні орієнтири: менше 15 - погана якість, 15-30 - приблизно зрозуміло з високою частотою помилок, 30-50 - придатно для вузьких технічних доменів, вище 50 - наближається до людського рівня в обмежених темах. Ці діапазони не порівнянні між мовними парами - BLEU 40 для англійської-французької не еквівалентний BLEU 40 для англійської-японської. Завжди порівнюй показники BLEU в межах однієї мовної пари та одного тестового набору.
Чи актуальний BLEU у 2025 році?¶
Так, широко використовується для швидких бенчмарків і через роки накопиченої BLEU-статистики. Дослідницька спільнота зараз використовує COMET як основну метрику, а WMT 2024 застосовував MQM як золотий стандарт. Для нових систем оцінювання без застарілих обмежень COMET - краще за замовчуванням. Але BLEU нікуди не дінеться - надто багато воркфлоу на ньому побудовано.
Що означає TER 0.3 на практиці?¶
Це означає, що 30% слів в довжині референсу довелося відредагувати для перетворення виходу MT на референс. Для порівняння: хороший загальнодоменний MT типово досягає TER від 0.25 до 0.45. Нижче 0.2 - відмінно. Вище 0.6 означає суттєву переробку - на цьому рівні простіше перекладати з нуля.
Чи можна порівнювати BLEU-оцінки двох різних MT-систем?¶
Так, але тільки якщо використовувати однаковий тестовий набір, ті самі референсні переклади і ту саму схему токенізації. BLEU-оцінки не порівнянні між різними тестовими наборами - система з оцінкою 35 на одному корпусі може отримати 50 на іншому, легшому. Це одна з найпоширеніших помилок використання BLEU в індустрії.
В чому різниця між TER і HTER?¶
TER порівнює вихід MT з заздалегідь написаним референсним перекладом. HTER порівнює вихід MT з фактичною людською пост-редакцією - реальний перекладач виправляє MT, а потім вимірюється, скільки змін він вніс. HTER значущіший для MTPE-воркфлоу, тому що вимірює реальні зусилля при редагуванні, а не відстань від ідеалізованого референсу.
Чому BLEU не виявляє помилок у значенні?¶
BLEU рахує лише збіг n-грам на поверхневому рівні - він бачить слова, але не їхній зміст. “Банк схвалив кредит” і “Кредит схвалив банк” містять ідентичні слова і матимуть схожу BLEU-оцінку при порівнянні одне з одним. Інверсії заперечення (“пацієнт повинен приймати ліки” vs “пацієнт не повинен приймати ліки”) ледь впливають на BLEU, якщо більшість інших слів збігаються. Саме тому BLEU небезпечний як єдиний сигнал якості для медичних, юридичних чи критично важливих перекладів.