Ваша MT-система набрала 42 BLEU. Конкурент - 38. Значит, ваша лучше? Не обязательно - и именно эта неопределённость делает оценку качества MT одной из самых спорных задач в вычислительной лингвистике.
Три подхода доминируют в разговоре: редакционное расстояние (и его варианты TER, HTER), BLEU и оценка человека. Они измеряют абсолютно разные вещи, имеют абсолютно разные слепые зоны и полезны в абсолютно разных ситуациях. Вот что каждая из них реально измеряет - и где каждая ломается.
Почему измерять качество MT сложнее, чем кажется¶
Перевод может быть точным, но неестественным. Или естественным, но неточным. Или точным и естественным, но культурно неверным. Эти три типа провала требуют принципиально разных методов выявления.
Базовая проблема: чтобы измерить качество, нужен эталон. И единственный по-настоящему надёжный эталон - это суждение человека, которое дорого, медленно и непоследовательно между разными оценщиками. Автоматизированные метрики аппроксимируют это суждение дёшево и быстро. Все они чем-то жертвуют в процессе.
WMT 2024 Metrics Shared Task - ежегодный бенчмарк, тестирующий корреляцию автоматических метрик с оценками людей - установил, что нейронные метрики вроде COMET значительно превосходят BLEU, но всё ещё уступают надёжности человека для специфических типов ошибок.
Редакционное расстояние: считаем изменения¶
Редакционное расстояние (оно же расстояние Левенштейна) - концептуально простейшая MT-метрика: сколько операций нужно, чтобы превратить выход MT в референсный перевод?
Стандартные операции: - Вставки - добавить слово, которого не хватает - Удаления - убрать слово, которого не должно быть - Замены - заменить неправильное слово правильным - Сдвиги - переместить фразу на правильную позицию
На уровне символов считаются изменения отдельных символов. На уровне слов - изменения слов. Результат обычно нормализуется по длине текста, чтобы получить процент, а не абсолютное число.
Как объясняет Slator, выход MT - это отправная точка, а финальная версия на целевом языке - конечная. Редакционное расстояние измеряет разрыв между ними. Оценка 0% означает, что правок не потребовалось. Оценка 80% - что 80% слов пришлось редактировать.
Где полезно: Редакционное расстояние - основа того, как CAT-инструменты вроде memoQ и Phrase отслеживают, насколько переводчик изменил черновик от MT. На нём строится ценообразование MTPE - больше правок означает больше работы, означает более высокую ставку.
Критическое ограничение: Редакционное расстояние отслеживает количество изменений, но не их качество. Можно сделать минимум правок и всё равно получить плохой перевод. А переводчик, стилистически переписывающий фактически правильный черновик MT, покажет большое редакционное расстояние там, где этого не требовалось. Метрика слепа к тому, ПОЧЕМУ были сделаны изменения.
BLEU: машина подсчёта n-грамм¶
BLEU (Bilingual Evaluation Understudy) - метрику предложили Papineni и соавторы из IBM Research в 2002 году, и она доминировала в оценке MT два десятилетия. Базовая идея: сравнить выход MT с одним или несколькими референсными переводами, считая, сколько последовательностей слов (n-грамм) у них общего.
Как вычисляется: 1. Считаем, сколько 1-словных последовательностей (униграмм) в выходе MT встречается в референсе 2. То же для 2-словных (биграмм), 3-словных (триграмм) и 4-словных последовательностей 3. Вычисляем точность для каждого размера n-грамм 4. Вычисляем геометрическое среднее этих значений точности 5. Применяем штраф за краткость, если выход MT короче референса
Результат: оценка от 0 до 1, обычно выражаемая как 0-100. Выше = больше совпадений с референсом = предположительно лучше.
Типичные диапазоны BLEU:
| Оценка | Примерная интерпретация |
|---|---|
| < 15 | Плохое качество, едва понятно |
| 15-30 | Примерно понятно, высокая частота ошибок |
| 30-50 | Приемлемо для узких технических доменов |
| 50-60 | Приближается к переводу человека в ограниченных темах |
| > 60 | Редко; только в очень узких повторяющихся доменах |
Эти диапазоны сильно различаются в зависимости от языковой пары. BLEU для английского-французского выше, чем для английского-арабского, что выше, чем для английского-японского - из-за различий в порядке слов и морфологической сложности.
Что BLEU делает хорошо: Он быстрый, полностью автоматизированный и воспроизводимый. Можно запустить BLEU на 10 миллионах пар предложений за минуты. На уровне корпуса он разумно коррелирует с оценками людей - сравнивая две MT-системы на одном тестовом наборе, BLEU обычно ранжирует их правильно.
Что BLEU делает неправильно: Многое. Детальный анализ недостатков BLEU каталогизирует основные проблемы: семантическая слепота (не различает “большой” и “огромный”, или “банк” как учреждение и “берег” реки), зависимость от референса (нужны идеальные переводы-эталоны), нечувствительность к отрицанию (перевод, переворачивающий смысл словом “не”, может набрать почти столько же баллов, сколько правильный), и плохая работа с морфологически богатыми языками.
Один NLP-исследователь обратил внимание на этот парадокс:
Нейронные MT-системы с более низким BLEU иногда оказываются предпочтительнее по оценкам людей, чем статистические MT-системы с более высоким BLEU. Метрика калибровалась для старой эпохи MT.
Этот разрыв стал критическим с появлением нейронного MT после 2016 года. NMT-системы производят гладкие, естественные переводы, отличающиеся от референсов по формулировкам, но лучше сохраняющие смысл. BLEU штрафует за эти отличия, даже когда перевод отличный.
TER и HTER: редакционное расстояние встречает пост-редактирование¶
TER (Translation Edit Rate) - это редакционное расстояние, оформленное как стандартизированная MT-метрика. Предложена в 2006 году Сновером и соавторами, TER измеряет минимальное количество правок, нужных для преобразования выхода MT в референс, делённое на длину референса.
TER = (нужные правки) / (длина референса)
TER 0 означает, что выход MT точно совпадает с референсом. TER 1.0 - что пришлось бы переписать столько слов, сколько в самом референсе. На практике хороший общедоменный MT достигает TER от 0.2 до 0.5.
В отличие от BLEU, TER учитывает порядок слов через “сдвиги фраз” - перемещение правильно переведённой фразы на нужную позицию считается одной правкой, а не несколькими отдельными ошибками. Это делает TER более мягким, чем BLEU, к переводам, где слова правильные, но стоят не там.
HTER (Human-Targeted TER) - более практичный вариант: вместо сравнения с заранее написанным референсом он сравнивает с реальной пост-редакцией человека. Обученный пост-редактор реально исправляет выход MT, а затем измеряется, сколько правок он сделал.
Это важно, потому что стандартная TER использует референсные переводы, написанные независимо от выхода MT - они представляют идеал, но не обязательно минимально необходимые исправления. HTER использует реальную пост-редакторскую работу как эталон, что лучше отражает реальные усилия.
Согласно исследованию по HTER, метрика “лучше коррелирует с индивидуальными оценками людей, чем корреляции между самими оценщиками” - фактически более последовательна, чем два человека-оценщика, оценивающих один и тот же текст.
Где TER/HTER показывают себя лучше: Измерение усилий при пост-редактировании для ценообразования и оптимизации воркфлоу. Если ваш HTER - 0.12, переводчики вносят минимальные исправления - это зона лёгкого MTPE. Если 0.45 - фактически переписывают. Это данные для переговоров о ставках MTPE.
Где они не справляются: Та же фундаментальная проблема, что и у чистого редакционного расстояния - считают изменения, а не качество. Высокий HTER может означать плохой MT или ненужные стилистические правки. Без наблюдения за процессом работы пост-редактора одно от другого не отличить.
Оценка человека: MQM и Direct Assessment¶
Оценка человека - медленная, дорогая и непоследовательная между оценщиками. Она также единственный метод, надёжно выявляющий типы провалов, которые пропускают автоматизированные метрики.
Доминируют два фреймворка:
Direct Assessment (Прямая оценка)¶
Оценщик читает выход MT и ставит ему оценку по шкале (обычно 0-100) за адекватность или беглость. Простой, быстрый в аннотировании, лёгкий для агрегирования. WMT годами использовал DA как основной протокол оценки человека.
Проблемы: оценки абсолютные, а не сравнительные. Межоценщиковая согласованность - умеренная. Оценщики склонны быть мягкими к гладким, но неточным переводам - они хорошо читаются, поэтому кажутся правильными. И DA не показывает, что именно не так - только насколько плохо в целом.
MQM (Multidimensional Quality Metrics)¶
MQM - текущий золотой стандарт профессиональной оценки MT. Обученные аннотаторы выявляют конкретные отрезки ошибок, классифицируют тип ошибки и присваивают степень тяжести:
- Ошибки точности: изменения смысла, пропуски, добавления, неправильный перевод
- Ошибки беглости: грамматика, орфография, стиль, регистр
- Терминологические ошибки: неправильные отраслевые термины
- Ошибки локализационных конвенций: неправильный формат даты, символы валюты и т.д.
Степени тяжести: незначительная, серьёзная, критическая.
Критическая ошибка точности (смысл полностью перевёрнут) штрафует гораздо больше, чем незначительная проблема с беглостью (немного неловкая формулировка). Итоговая оценка MQM агрегирует эти штрафы в числовой показатель качества.
WMT 2024 Metrics Task использовал MQM-оценивание как основной золотой стандарт, с которым сравнивались все автоматические метрики. Межоценщиковая согласованность MQM (около 0.58 для английского-немецкого) существенно выше, чем у DA.
Минус: нужны обученные лингвисты, на документ уходят часы, и затраты растут линейно с объёмом текста. Это нереально для оценки MT-систем при разработке или мониторинга продакшн-пайплайнов в реальном времени.
COMET и нейронные метрики: поколение после BLEU¶
С 2019 года новый класс метрик - обученные метрики на основе референсов - стабильно превосходит BLEU в корреляции с оценками людей.
COMET (Crosslingual Optimized Metric for Evaluation of Translation) - наиболее широко принятая. Она использует предобученный многоязычный энкодер (XLM-RoBERTa), дообученный на оценках качества людей. Вместо подсчёта совпадений n-грамм COMET кодирует источник, референс и выход MT в семантические векторы и вычисляет сходство в этом пространстве.
Результат: COMET улавливает семантическую эквивалентность, которую BLEU пропускает. “Автомобиль” и “машина” различаются в BLEU; COMET понимает, что они означают одно и то же.
На WMT 2024 Metrics Task метрики семейства COMET достигли наивысших корреляций с оценками людей на уровне системы - значительно превзойдя BLEU, ChrF и TER. Новые расширения вроде xCOMET добавляют детальное выявление ошибок, приближаясь к автоматизированному MQM.
Но у COMET тоже есть ограничения. Исследование на Translated.com обнаружило, что COMET может не справляться с выходами MT от больших языковых моделей, стилистически отличающихся от традиционных MT-выходов, на которых он обучался. Кроме того, COMET вычислительно тяжелее BLEU, а референсная версия COMET по-прежнему требует референсных переводов для каждого сегмента.
Какую метрику и когда использовать¶
Единственной метрики для всех ситуаций не существует:
| Задача | Рекомендуемая метрика | Почему |
|---|---|---|
| Быстрое сравнение систем при разработке | BLEU + COMET | BLEU для воспроизводимости, COMET для надёжности |
| Ценообразование и трекинг усилий MTPE | HTER | Напрямую измеряет фактические усилия при пост-редактировании |
| Мониторинг качества в продакшне | COMET-QE (без референса) | Не нужен референсный перевод для каждого пакета |
| Юридический/медицинский/критически важный контент | MQM-оценивание людьми | Автоматические метрики пропускают критические ошибки точности |
| Сравнение между языковыми парами | COMET | Лучшая межъязыковая калибровка, чем у BLEU |
| Отчёт для нетехнических стейкхолдеров | BLEU | Привычная шкала, легко объяснить |
Практический подход крупных MT-команд: COMET как основной автоматизированный сигнал, BLEU для сравнения с историческими данными, и регулярные MQM-аудиты на выборке (например, 500 предложений в месяц) для выявления дрейфа, который автоматические метрики пропускают.
Главный урок 25 лет исследований оценки MT: любая одна метрика даёт частичную картину. BLEU говорит об одном. HTER - о другом. Ни одна не говорит того, что говорит MQM. Для всего клиентского - регулярная оценка человека не опция, а единственный способ знать, что реально отгружается.
Если вы ведёте MTPE-воркфлоу, практическая отправная точка: HTER для ценообразования работы, COMET для бенчмаркинга MT-движка, MQM-спот-проверки для доменов, где ошибки точности имеют реальные последствия.
Часто задаваемые вопросы¶
Какой BLEU-балл считается хорошим для машинного перевода?¶
Зависит от языковой пары и домена. Примерные ориентиры: меньше 15 - плохой, 15-30 - примерно понятно с высокой частотой ошибок, 30-50 - приемлемо для узких технических доменов, выше 50 - приближается к человеческому уровню в ограниченных темах. Эти диапазоны несравнимы между языковыми парами - BLEU 40 для английского-французского не эквивалентен BLEU 40 для английского-японского. Всегда сравнивайте показатели BLEU в рамках одной языковой пары и одного тестового набора.
Актуален ли BLEU в 2025 году?¶
Да, широко используется для быстрых бенчмарков и потому что существующие системы имеют годами накопленную BLEU-статистику. Исследовательское сообщество теперь использует COMET как основную метрику, а WMT 2024 применял MQM как золотой стандарт. Для новых систем оценки без устаревших ограничений COMET - лучший вариант по умолчанию. Но BLEU никуда не денется - слишком много воркфлоу на нём построено.
Что означает TER 0.3 на практике?¶
Это значит, что 30% слов в длине референса пришлось отредактировать для преобразования выхода MT в референс. Для сравнения: хороший общедоменный MT типично достигает TER от 0.25 до 0.45. Ниже 0.2 - отлично. Выше 0.6 означает существенную переработку - на этом уровне проще переводить с нуля.
Можно ли сравнивать BLEU-оценки двух разных MT-систем?¶
Да, но только если использовать одинаковый тестовый набор, одинаковые референсные переводы и одинаковую схему токенизации. BLEU-оценки несравнимы между разными тестовыми наборами - система с оценкой 35 на одном корпусе может получить 50 на другом, более лёгком. Это одна из самых распространённых ошибок использования BLEU в индустрии.
В чём разница между TER и HTER?¶
TER сравнивает выход MT с заранее написанным референсным переводом. HTER сравнивает выход MT с реальной пост-редакцией человека - настоящий переводчик исправляет MT, а затем измеряется, сколько изменений он внёс. HTER значимее для MTPE-воркфлоу, потому что измеряет реальные усилия при редактировании, а не расстояние от идеализированного референса.
Почему BLEU не выявляет ошибок в значении?¶
BLEU считает только совпадение n-грамм на поверхностном уровне - он видит слова, но не их смысл. “Банк одобрил кредит” и “Кредит одобрил банк” содержат одинаковые слова и получат почти одинаковую BLEU-оценку при сравнении друг с другом. Инверсии отрицания (“пациент должен принимать лекарство” vs “пациент не должен принимать лекарство”) почти не влияют на BLEU, если большинство других слов совпадает. Именно поэтому BLEU опасен как единственный сигнал качества для медицинских, юридических или критически важных переводов.