BLEU score для переводческих агентств: что это и где он не работает

Вендор присылает бенчмарк-отчёт: их кастомизированный МП-движок для EN→DE набрал 48.3 BLEU на тестовом наборе технической документации. Предыдущая версия набирала 43.7. Означает ли это, что новый движок реально лучше? Хороший ли вообще результат 48.3? И стоит ли использовать эту цифру, чтобы решить, пускать ли продакшн-контент через их движок?

Это правильные вопросы. То, что большинство агентств не может на них ответить, и есть причина, почему BLEU порождает столько путаницы при оценке вендоров.

Что BLEU на самом деле измеряет¶

BLEU - Bilingual Evaluation Understudy - разработали в IBM Кишор Папинени с коллегами в 2002 году, и почти сразу он стал стандартной автоматической метрикой оценки МП. Причина популярности: быстрый, бесплатный и неплохо коррелировал с человеческими оценками на уровне корпусов - в то время, когда человеческая оценка была единственной альтернативой, но стоила времени и денег.

Алгоритм концептуально прост. Берём вывод МП-движка. Берём один или несколько эталонных человеческих переводов того же текста. Считаем, насколько вывод МП совпадает с эталонами с помощью последовательностей из 1-4 слов (n-граммов). Больше совпадений = выше балл.

Чтобы система не могла искусственно поднять балл, повторяя частотные слова, BLEU использует “усечённые” подсчёты - каждое слово вывода МП можно сопоставить с эталоном столько раз, сколько оно встречается в эталоне. Также применяется штраф за краткость, чтобы очень короткие переводы не получали искусственно высокий балл.

Результат - число от 0 до 100 (или от 0 до 1 в некоторых реализациях - та же шкала, только другое выражение).

Как объясняет документация Microsoft Custom Translator:

BLEU усредняет ошибки оценки отдельных предложений по всему тестовому корпусу, а не пытается вычислить точную человеческую оценку для каждого предложения.

Это усреднение по корпусу - и сила BLEU, и его главное ограничение, к которому мы вернёмся.

Как читать цифры¶

Наиболее распространённая интерпретационная таблица, основанная на руководстве Google:

Несколько практических ориентиров:

Оценка >60 - подозрительный сигнал. Если видите балл выше 60, это обычно означает, что тестовый набор “утёк” в обучение - модель обучалась на примерах, которые пересекаются с тем, на чём её тестируют. На практике хорошо откалиброванные продакшн-системы для языковых пар с большим количеством ресурсов обычно попадают в диапазон 40-55.

Разница меньше 4-5 баллов - это шум. Прыжок с 43.7 до 48.3 - значимый. Прыжок с 43.7 до 45.1 - возможно, нет, особенно если тестовый набор небольшой. Вариативность в оценке BLEU означает, что мелкие различия не обязательно указывают на реальное улучшение качества.

Человеческие переводчики не набирают 100. Когда двое профессиональных переводчиков переводят один и тот же текст, их переводы различаются настолько, что каждый из них, измеренный относительно другого как “эталона”, обычно набирает 60-80. Это фундаментальное понимание того, что измеряет BLEU: не абсолютное качество, а схожесть с одним конкретным эталоном.

Где BLEU реально полезен для агентств¶

У BLEU есть чётко определённый набор легитимных применений. За пределами этих сценариев он вводит в заблуждение.

Отслеживание разработки МП-движка по версиям. Если вы работаете с МП-вендором, который кастомизирует движок на вашем доменном контенте, BLEU - правильный инструмент, чтобы проверять: каждая новая версия модели реально улучшается или нет. Тот же тестовый набор, та же языковая пара, тот же домен - BLEU надёжно показывает направление изменений.

Как отметил CEO Iconic Translation Machines в интервью для Slator:

Мы используем BLEU score, чтобы получить интуитивное ощущение того, где находится движок в начале, а потом для бенчмаркинга разных версий в процессе улучшения.

Это и есть правильный кейс: относительное сравнение одной и той же системы во времени, а не абсолютная оценка качества.

Проверка, сработала ли доменная адаптация. Есть общий движок и файн-тюнингованная версия, обученная на вашем конкретном контенте. Запускаем обе на репрезентативном тестовом наборе вашего домена. Если файн-тюнингованная версия набирает на 8+ баллов больше - адаптация сработала. Если разница в пределах 3 баллов - эффект не стоит затрат.

Первичный скрининг новых МП-вендоров. Вендор, который не может предоставить BLEU score на репрезентативном тестовом наборе для вашей языковой пары и домена - на тестовом наборе, который контролируете вы, а не они - уже подозрителен. Сам балл вторичен; способность его предоставить на ваших данных свидетельствует о методологической серьёзности.

Ограничения BLEU: что цифра вам не скажет¶

Вот где агентства попадают в ловушку: начинают использовать BLEU как критерий качества для продакшн-контента.

Семантическая слепота. BLEU считает совпадения слов. Он не может определить, передают ли два перевода одинаковый смысл. Перевод, который инвертирует значение предложения добавлением отрицания - “система не требует аутентификации” вместо “система требует аутентификации” - может набрать одинаковый балл с правильным переводом, если совпадения окружающих слов достаточны.

Глухота к синонимам. “Начать,” “приступить,” “инициировать” и “запустить” означают одно и то же. Если эталонный перевод использует “начать”, а вывод МП - “инициировать”, BLEU штрафует вывод МП, хотя перевод правильный. Это особенно болезненно для доменов с богатой специализированной лексикой, где существует несколько равнозначных правильных терминов.

Ненадёжность на уровне предложений. BLEU разрабатывался и валидировался на уровне корпуса - сотни или тысячи предложений. При применении к отдельным предложениям он даёт результаты, плохо коррелирующие с человеческими оценками. Агентство, которое использует BLEU для решения, нуждается ли конкретный сегмент в пост-редактировании, применяет инструмент не по назначению.

Грамматическая слепота. BLEU не оценивает, читается ли перевод грамматически. Грамматически сломанное предложение, совпадающее с эталоном по большому количеству слов, может набрать более высокий балл, чем плавное предложение с немного другой формулировкой.

Рико Сеннрих из Эдинбургского университета, один из ведущих исследователей нейронного МП, отмечал, что BLEU “систематически занижает качество некоторых систем машинного перевода, в частности систем на основе правил” - и, по аналогии, систем, производящих правильные, но нелитеральные переводы.

CSA Research сформулировали это ещё прямолинейнее в оценке для практиков:

Эти метрики являются искусственными и нерелевантными для производственных переводческих сред.

Это не означает, что BLEU бесполезен - это означает, что его место в разработке движков, а не в решении, можно ли отправить переведённый документ клиенту.

Загрязнение тестового набора. Если вендор контролирует тестовый набор - он контролирует балл. Бенчмарк-цифры в маркетинговых материалах часто измерялись на тестовых данных, на которых система явно или неявно обучалась. Всегда настаивайте на оценке по тестовому набору, который предоставляете и контролируете вы.

Конкретные проблемы для кейсов агентств¶

Переводческие агентства сталкиваются с определённым набором задач, где ограничения BLEU проявляются наиболее остро.

Юридический и комплаенс-контент. BLEU 45 для переведённого контракта ничего не говорит о том, правильно ли переданы юрисдикционные термины, точно ли отражены обязательства в пункте 7, имеют ли терминологические выборы юридические последствия. Одно неправильное слово может обесценить перевод с отличным баллом. Человеческая экспертная проверка - единственный надёжный критерий здесь.

Маркетинговый и брендовый контент. BLEU штрафует креативные, культурно адаптированные переводы - а именно они и являются хорошими для этого типа контента. Транскреация, передающая английский идиом культурно уместным эквивалентом в языке перевода, наберёт более низкий балл, чем буквальный (и плохой) перевод. Для такого контента BLEU активно вводит в заблуждение.

Тестовые наборы с одним эталоном. BLEU улучшается при наличии нескольких эталонных переводов - больше n-граммов для потенциального сопоставления. Но большинство тестовых наборов агентств имеют один эталон, так как ресурсная стоимость генерации нескольких экспертных переводов тестового набора слишком высока. BLEU с одним эталоном шумнее и более подвержен проблеме синонимов.

Что использовать вместо или вместе с BLEU¶

Ландшафт оценки существенно изменился с 2002 года. Для агентств, которым нужны более надёжные сигналы качества:

COMET (Crosslingual Optimized Metric for Evaluation of Translation) - нейронная метрика, обученная на человеческих оценках качества. Она учитывает смысл исходного предложения, а не только поверхностное совпадение с эталоном. Независимые исследования показывают, что COMET лучше коррелирует с человеческими оценками, чем BLEU, особенно для качественных МП-систем, где проявляется эффект потолка BLEU.

MQM (Multidimensional Quality Metrics) - структурированная методология человеческой оценки, классифицирующая ошибки по типу (точность, понятность, терминология, стиль, локальные конвенции) и серьёзности (критическая, значительная, незначительная). Это стандарт в профессиональной оценке качества, используемый Центром переводов ЕС, крупными LSP и глобальными предприятиями. MQM не заменяет автоматические метрики - он даёт человеческий эталон, который они пытаются приблизить.

TER (Translation Error Rate) измеряет, сколько правок потребуется рецензенту-человеку, чтобы привести вывод МП к приемлемому состоянию. Ниже - лучше. Он более интерпретируем, чем BLEU, для оценки стоимости пост-редактирования, так как прямо коррелирует с трудозатратами на пост-редактирование.

BERTScore использует контекстуальные эмбеддинги для измерения семантической схожести вместо поверхностного совпадения, что делает его устойчивее к синонимам и перефразированиям.

Для большинства воркфлоу агентств в 2026 году рекомендуемый подход таков: BLEU - для бенчмаркинга МП-движков и отслеживания изменений, COMET - для автоматической оценки качества на уровне сегментов, человеческая проверка по MQM - финальный критерий для клиентского или важного контента.

Практические правила для PM агентств¶

Несколько правил, предотвращающих наиболее распространённые ошибки применения BLEU:

Никогда не сравнивайте BLEU из разных тестовых наборов. Балл вендора из его внутреннего бенчмарка и ваш балл на вашем тестовом наборе - несопоставимые числа, даже для одного и того же движка и языковой пары.

Установите минимальный порог, но не как жёсткий критерий качества. Разумный нижний порог для МП-контента производственного качества - 35+ для большинства языковых пар, понимая, что это нужно проверять для каждого домена. Ниже 30 - вывод МП, скорее всего, требует усилий, близких к переводу с нуля.

Используйте для относительного сравнения, а не абсолютной оценки. “Версия B набирает на 6 баллов больше, чем версия A на нашем тестовом наборе” - полезный сигнал. “Этот движок набирает 47” в отрыве от контекста - мало что говорит без информации о тестовом наборе, языковой паре и домене.

Всегда уточняйте условия тестового набора при запросе бенчмарков у вендора. Требуйте: размер тестового набора (минимум 1000 сегментов), языковая пара, домен, и что тестовый набор не использовался для обучения или файн-тюнинга.

Для новых языковых пар - проводите собственное тестирование. Возьмите 500-1000 репрезентативных сегментов из вашего реального контента, попросите старшего лингвиста сделать эталонный перевод, а затем запускайте движки-кандидаты против этого набора. Ваши собственные BLEU-оценки на вашем контенте всегда прогностичнее вендорских бенчмарков.

FAQ¶

Что означает BLEU?¶

BLEU - Bilingual Evaluation Understudy. “Understudy” (дублёр) означает, что метрика подменяет человека-оценщика - автоматически приближаясь к тому, что оценил бы рецензент-человек.

BLEU измеряется по шкале 0-1 или 0-100?¶

Оба формата используются. Базовый расчёт даёт число от 0 до 1, но обычно его умножают на 100 и выражают в процентах (то есть 0.45 = BLEU 45). При сравнении баллов убедитесь, что используете одну шкалу.

Можно ли использовать BLEU для оценки перевода юридических документов?¶

Запустить можно - но результаты не являются значимым критерием качества для юридического контента. BLEU не выявляет ошибки на уровне смысла, которые имеют наибольшее значение в юридическом переводе: неверные юрисдикционные термины, пропущенные обязательства, неправильные числовые значения, ошибки в именах собственных. Человеческая экспертная проверка специализированным переводчиком - единственный надёжный метод качества для юридических документов.

Сколько эталонных переводов нужно для BLEU?¶

Технически - один, но больше эталонов повышает надёжность. С одним эталоном BLEU строже штрафует синонимы и перефразирования. С четырьмя эталонами (оригинальная статья BLEU использовала четыре человеческих перевода) метрика становится более снисходительной к правомерным вариациям. Большинство практических развёртываний используют один эталон из-за стоимости - именно поэтому BLEU-оценки шумнее, чем могли бы быть.

Какой BLEU score требовать от МП-вендора?¶

Это полностью зависит от языковой пары и домена. Для языковой пары с большим количеством ресурсов, например EN→DE в технической документации с хорошим доменно-адаптированным движком, разумно ожидать 45+. Для языковой пары с меньшим количеством ресурсов или узкоспециализированного домена 30-35 может быть сильным результатом. Не устанавливайте универсальные пороги - тестируйте на собственном контенте и калибруйте относительно того, что считаете приемлемым уровнем усилий на пост-редактирование.

Источники¶

• Slator - How BLEU Measures Translation and Why It Matters
• ModernMT - Understanding MT Quality: BLEU Scores
• Microsoft Learn - What is a BLEU score?
• Google Cloud - The BLEU translation quality metric
• Translated.com - MT Quality Evaluation in the Age of LLM-based MT
• ACL Anthology - Re-evaluating the Role of BLEU in Machine Translation Research