BLEU score для перекладацьких агенцій: що це і де він не працює

Вендор надсилає бенчмарк-звіт: їхній кастомізований МП-рушій для EN→DE набрав 48.3 BLEU на тестовому наборі технічної документації. Попередня версія набирала 43.7. Чи означає це, що новий рушій реально кращий? Чи 48.3 взагалі добре? І чи варто використовувати цю цифру, щоб вирішити, чи пускати продакшн-контент через їхній рушій?

Це правильні питання. Те, що більшість агенцій не може на них відповісти, і є причиною, чому BLEU породжує стільки плутанини під час оцінки вендорів.

Що BLEU насправді вимірює¶

BLEU - Bilingual Evaluation Understudy - розробили в IBM Кіshore Папіненні з колегами в 2002 році, і майже відразу він став стандартною автоматичною метрикою оцінки МП. Причина популярності: він був швидким, безкоштовним і непогано корелював із людськими оцінками на рівні корпусів - у той час, коли людська оцінка була єдиною альтернативою, але коштувала часу і грошей.

Алгоритм концептуально простий. Беремо вивід МП-рушія. Беремо один або кілька еталонних людських перекладів того ж тексту. Рахуємо, наскільки вивід МП збігається з еталонами за допомогою послідовностей з 1-4 слів (n-грамів). Більше збігів = вищий бал.

Щоб система не могла штучно підняти бал, повторюючи частотні слова, BLEU використовує “урізані” підрахунки - кожне слово виводу МП можна зіставити з еталоном стільки разів, скільки воно зустрічається в еталоні. Також застосовується штраф за стислість, щоб дуже короткі переклади не отримували штучно високий бал.

Результат - число від 0 до 100 (або від 0 до 1 в деяких імплементаціях - та сама шкала, тільки інший вираз).

Як пояснює документація Microsoft Custom Translator:

BLEU усереднює помилки оцінки окремих речень по всьому тестовому корпусу, а не намагається вирахувати точну людську оцінку для кожного речення.

Це усереднення по корпусу - і сила BLEU, і його головне обмеження, до якого ми повернемося.

Як читати цифри¶

Найпоширеніша інтерпретаційна таблиця, заснована на гайді Google:

Кілька практичних орієнтирів:

Оцінка >60 - підозрілий сигнал. Якщо бачите бал вище 60, це зазвичай означає, що тестовий набір “потік” у тренування - модель навчалася на прикладах, які перетинаються з тим, на чому її тестують. На практиці добре відкалібровані продакшн-системи для мовних пар з великою кількістю ресурсів зазвичай потрапляють у діапазон 40-55.

Різниця менше 4-5 балів - це шум. Стрибок з 43.7 до 48.3 - значущий. Стрибок з 43.7 до 45.1 - можливо, ні, особливо якщо тестовий набір невеликий. Варіативність в оцінці BLEU означає, що дрібні відмінності не обов’язково вказують на реальне покращення якості.

Людські перекладачі не набирають 100. Коли двоє фахових перекладачів перекладають один і той самий текст, їхні переклади відрізняються настільки, що кожен з них, виміряний відносно іншого як “еталону”, зазвичай набирає 60-80. Це фундаментальне розуміння того, що вимірює BLEU: не абсолютну якість, а схожість з одним конкретним еталоном.

Де BLEU реально корисний для агенцій¶

У BLEU є чітко визначений набір легітимних застосувань. За межами цих сценаріїв він вводить в оману.

Відстеження розробки МП-рушія по версіях. Якщо ви працюєте з МП-вендором, який кастомізує рушій на вашому доменному контенті, BLEU - правильний інструмент, щоб перевіряти: кожна нова версія моделі реально покращується чи ні. Той самий тестовий набір, та сама мовна пара, той самий домен - BLEU надійно показує напрямок змін.

Як зазначив CEO Iconic Translation Machines в інтерв’ю для Slator:

Ми використовуємо BLEU score, щоб отримати інтуїтивне відчуття того, де знаходиться рушій на початку, а потім для бенчмаркінгу різних версій у процесі вдосконалення.

Це і є правильний кейс: відносне порівняння однієї і тієї самої системи з часом, а не абсолютна оцінка якості.

Перевірка, чи спрацювала доменна адаптація. Є генеральний рушій і файн-тюнована версія, натренована на вашому конкретному контенті. Запускаємо обидві на репрезентативному тестовому наборі вашого домену. Якщо файн-тюнована версія набирає на 8+ балів більше - адаптація спрацювала. Якщо різниця в межах 3 балів - ефект не вартий витрат.

Початковий скринінг нових МП-вендорів. Вендор, який не може надати BLEU score на репрезентативному тестовому наборі для вашої мовної пари і домену - на тестовому наборі, який контролюєте ви, а не вони - вже підозрілий. Сам бал вторинний; здатність його надати на ваших даних свідчить про методологічну серйозність.

Обмеження BLEU: що цифра не говорить вам¶

Ось де агенції потрапляють у пастку: починають використовувати BLEU як критерій якості для продакшн-контенту.

Семантична сліпота. BLEU рахує збіги слів. Він не може визначити, чи передають два переклади однаковий сенс. Переклад, який інвертує значення речення додаванням заперечення - “система не потребує аутентифікації” замість “система потребує аутентифікації” - може набрати однаковий бал з правильним перекладом, якщо збіги навколишніх слів достатні.

Глухота до синонімів. “Почати,” “розпочати,” “ініціювати” і “запустити” означають одне й те саме. Якщо еталонний переклад використовує “почати”, а МП-вивід - “ініціювати”, BLEU штрафує МП-вивід, хоча переклад правильний. Це особливо болісно для доменів із багатою фаховою лексикою, де є кілька рівнозначних правильних термінів.

Ненадійність на рівні речень. BLEU розроблявся і валідувався на рівні корпусу - сотні або тисячі речень. При застосуванні до окремих речень він дає результати, що погано корелюють із людськими оцінками. Агенція, яка використовує BLEU для вирішення, чи потребує конкретний сегмент пост-редагування, застосовує інструмент не за призначенням.

Граматична сліпота. BLEU не оцінює, чи читається переклад граматично. Граматично зламане речення, яке збігається з еталоном за великою кількістю слів, може набрати вищий бал, ніж гладке речення з дещо іншим формулюванням.

Ріко Сеннріх з Единбурзького університету, один з провідних дослідників нейронного МП, зазначав, що BLEU “систематично занижує якість деяких систем машинного перекладу, зокрема систем на основі правил” - і, за аналогією, систем, що продукують правильні, але нелітеральні переклади.

CSA Research виклали це ще прямолінійніше в оцінці для практиків:

Ці метрики є штучними і нерелевантними для виробничих перекладацьких середовищ.

Це не означає, що BLEU марний - це означає, що його місце в розробці рушіїв, а не у вирішенні, чи можна відправити перекладений документ клієнту.

Забруднення тестового набору. Якщо вендор контролює тестовий набір - він контролює бал. Бенчмарк-цифри в маркетингових матеріалах часто вимірювались на тестових даних, на яких система явно або неявно навчалася. Завжди наполягайте на оцінці за тестовим набором, який надаєте і контролюєте ви.

Конкретні проблеми для кейсів агенцій¶

Перекладацькі агенції стикаються з певним набором завдань, де обмеження BLEU проявляються найгостріше.

Юридичний та комплаєнс-контент. BLEU 45 для перекладеного контракту нічого не говорить про те, чи правильно передані юрисдикційні терміни, чи точно відображені зобов’язання в пункті 7, чи мають термінологічні вибори юридичні наслідки. Одне неправильне слово може знецінити переклад із відмінним балом. Людська фахова перевірка - єдиний надійний критерій тут.

Маркетинговий і брендовий контент. BLEU штрафує креативні, культурно адаптовані переклади - а саме вони і є хорошими для цього типу контенту. Транскреація, яка передає англійський ідіом культурно відповідним еквівалентом в мові перекладу, набере нижчий бал, ніж буквальний (і поганий) переклад. Для такого контенту BLEU активно вводить в оману.

Тестові набори з однією еталонною відповіддю. BLEU покращується, коли є кілька еталонних перекладів - більше n-грамів для потенційного зіставлення. Але більшість тестових наборів агенцій мають один еталон, бо ресурсна вартість генерації кількох фахових перекладів тестового набору надто висока. BLEU з одним еталоном шумніший і більш схильний до проблеми синонімів.

Що використовувати замість або разом із BLEU¶

Ландшафт оцінки суттєво змінився з 2002 року. Для агенцій, яким потрібні надійніші сигнали якості:

COMET (Crosslingual Optimized Metric for Evaluation of Translation) - нейронна метрика, натренована на людських оцінках якості. Вона враховує сенс вихідного речення, а не лише поверхневий збіг з еталоном. Незалежні дослідження показують, що COMET краще корелює з людськими оцінками, ніж BLEU, особливо для якісних МП-систем, де проявляється ефект стелі BLEU.

MQM (Multidimensional Quality Metrics) - структурована людська методологія оцінки, що класифікує помилки за типом (точність, зрозумілість, термінологія, стиль, локальні конвенції) і серйозністю (критична, значна, незначна). Це стандарт у фаховій оцінці якості, що використовується Центром перекладів ЄС, великими LSP і глобальними підприємствами. MQM не замінює автоматичні метрики - він дає людський еталон, який вони намагаються наблизити.

TER (Translation Error Rate) вимірює, скільки редагувань знадобиться людині-рев’юеру для приведення МП-виводу до прийнятного стану. Нижче - краще. Він більш інтерпретований за BLEU для оцінки вартості пост-редагування, бо прямо корелює із зусиллями на пост-редагування.

BERTScore використовує контекстуальні ембединги для вимірювання семантичної схожості замість поверхневого збігу, що робить його стійкішим до синонімів і перефразувань.

Для більшості воркфлоу агенцій у 2026 році рекомендований підхід такий: BLEU - для бенчмаркінгу МП-рушіїв і відстеження змін, COMET - для автоматичної оцінки якості на рівні сегментів, людська перевірка за MQM - фінальний критерій для клієнтського або важливого контенту.

Практичні правила для PM агенцій¶

Кілька правил, що запобігають найпоширенішим помилкам застосування BLEU:

Ніколи не порівнюйте BLEU з різних тестових наборів. Бал вендора з його внутрішнього бенчмарку і ваш бал на вашому тестовому наборі - непорівнянні числа, навіть для одного й того самого рушія і мовної пари.

Встановіть мінімальний поріг, але не як жорсткий критерій якості. Розумний нижній поріг для МП-контенту виробничої якості - 35+ для більшості мовних пар, розуміючи, що це потрібно перевіряти для кожного домену. Нижче 30 - МП-вивід, швидше за все, потребує зусиль, близьких до перекладу з нуля.

Використовуйте для відносного порівняння, а не абсолютної оцінки. “Версія B набирає на 6 балів більше ніж версія A на нашому тестовому наборі” - корисний сигнал. “Цей рушій набирає 47” у відриві від контексту - мало що говорить без інформації про тестовий набір, мовну пару і домен.

Завжди уточнюйте умови тестового набору при запиті бенчмарків у вендора. Вимагайте: розмір тестового набору (мінімум 1000 сегментів), мовна пара, домен, і що тестовий набір не використовувався для тренування або файн-тюнінгу.

Для нових мовних пар - проводьте власне тестування. Візьміть 500-1000 репрезентативних сегментів із вашого реального контенту, попросіть старшого лінгвіста зробити еталонний переклад, а потім запускайте кандидат-рушії проти цього набору. Ваші власні BLEU-оцінки на вашому контенті завжди прогностичніші за вендорські бенчмарки.

FAQ¶

Що означає BLEU?¶

BLEU - Bilingual Evaluation Understudy. “Understudy” (дублер) означає, що метрика підміняє людського оцінювача - автоматично наближаючись до того, що оцінив би людина-рев’юер.

BLEU вимірюється за шкалою 0-1 чи 0-100?¶

Обидва формати використовуються. Базовий розрахунок дає число від 0 до 1, але зазвичай його множать на 100 і виражають у відсотках (тобто 0.45 = BLEU 45). При порівнянні балів переконайтеся, що використовуєте одну шкалу.

Чи можна використовувати BLEU для оцінки перекладу юридичних документів?¶

Запустити можна - але результати не є значущим критерієм якості для юридичного контенту. BLEU не виявляє помилки на рівні сенсу, які мають найбільше значення в юридичному перекладі: невірні юрисдикційні терміни, пропущені зобов’язання, неправильні числові значення, помилки у власних назвах. Людська фахова перевірка спеціалізованим перекладачем - єдиний надійний метод якості для юридичних документів.

Скільки еталонних перекладів потрібно для BLEU?¶

Технічно - один, але більше еталонів підвищує надійність. З одним еталоном BLEU жорсткіше штрафує синоніми і перефразування. З чотирма еталонами (оригінальна стаття BLEU використовувала чотири людські переклади) метрика стає більш поблажливою до правомірних варіацій. Більшість практичних розгортань використовують один еталон через вартість - саме тому BLEU-оцінки шумніші, ніж могли б бути.

Який BLEU score вимагати від МП-вендора?¶

Це повністю залежить від мовної пари і домену. Для мовної пари з великою кількістю ресурсів, наприклад EN→DE в технічній документації з хорошим доменно-адаптованим рушієм, розумно очікувати 45+. Для мовної пари з меншою кількістю ресурсів або вузькоспеціалізованого домену 30-35 може бути сильним результатом. Не встановлюйте універсальні пороги - тестуйте на власному контенті і калібруйте відносно того, що вважаєте прийнятним рівнем зусиль на пост-редагування.

Джерела¶

• Slator - How BLEU Measures Translation and Why It Matters
• ModernMT - Understanding MT Quality: BLEU Scores
• Microsoft Learn - What is a BLEU score?
• Google Cloud - The BLEU translation quality metric
• Translated.com - MT Quality Evaluation in the Age of LLM-based MT
• ACL Anthology - Re-evaluating the Role of BLEU in Machine Translation Research