Как оценить качество машинного перевода: чеклист для заказчика

Ты заказал перевод контракта через онлайн-сервис, получил файл, открыл - и видишь текст на языке, в котором разбираешься так себе. Выглядит аккуратно, форматирование на месте, Google Translate вроде подтверждает что все ок. Подписываешь. А через три месяца выясняется, что “арендатор обязан” превратилось в “арендатор имеет право”, и теперь это стоит тебе 15 000 евро. Если ты хочешь избежать таких сюрпризов - вот чеклист, который поможет оценить качество перевода даже без глубоких знаний языка.

Почему “выглядит нормально” - не показатель качества¶

Главная ловушка машинного перевода - он выдает гладкий, грамматически правильный текст. Особенно современные модели типа ChatGPT, Claude или DeepL. Предложения построены правильно, стиль соответствует, знаки препинания на месте. И именно это делает проверку сложной.

Старый Google Translate десятилетней давности выплевывал чепуху, которую сразу видно. Ты видел “перевод” и понимал - тут что-то не так. Современный ИИ ошибается элегантно. Он может добавить информацию, которой не было в оригинале, пропустить ключевое слово или тихо изменить смысл - и все это будет выглядеть идеально.

HSBC заплатил $10 миллионов за ребрендинг, когда их слоган “Assume Nothing” перевели как “Do Nothing” - “Не делайте ничего”. Норвежская олимпийская сборная заказала 15 000 яиц вместо 1 500 из-за ошибки Google Translate с корейской системой подсчета. А шведский Amazon при запуске в 2020 показал карточки с “hand-knitted penis” вместо “вязаный пенал” - и это прошло через автоматический перевод без единого предупреждения.

Эти примеры смешные, но когда речь идет о юридическом переводе или медицинской документации - последствия совсем не смешные.

Что именно может пойти не так: 6 типов ошибок МП¶

Прежде чем проверять перевод, полезно знать какие типы ошибок искать. Вот шесть основных категорий, от самых опасных до самых очевидных.

1. Пропуски (omissions)¶

Машина “съедает” часть текста. Самый коварный тип ошибки, потому что ты не видишь то, чего нет. Особенно опасно, когда пропадает частица “не” - и “исполнитель не несет ответственности” превращается в “исполнитель несет ответственность”. Один пользователь форума описывал ситуацию, когда ChatGPT при переводе трудового договора просто “проглотил” предложение про испытательный срок - и никто не заметил до подписания.

2. Галлюцинации (additions)¶

Противоположная проблема - машина добавляет то, чего не было в оригинале. ИИ-галлюцинации особенно опасны в юридических текстах: модель может “дописать” конкретную сумму штрафа, добавить условие расторжения договора или выдумать ссылку на закон, которого не существует. По данным бенчмарков 2025 года, даже лучшие модели галлюцинируют в 0.7-4.4% случаев - и для юридических текстов эти цифры значительно выше.

3. Терминологические ошибки¶

Слово “Haftung” в контракте - это “ответственность” или “имущественная ответственность”? “Gesellschaft” - “общество”, “компания” или “товарищество”? Машинный перевод часто выбирает общеупотребительный вариант вместо специализированного юридического термина. Google Translate показывает 92% точности для базовых англо-испанских медицинских фраз, но лишь 57.7% для сложных медицинских терминов.

4. Изменение смысла (meaning rewrite)¶

“Арендатор может продлить договор при условии согласования с арендодателем” превращается в “арендатор имеет право на продление договора”. Нюанс исчезает, юридический смысл становится другим. Машина “упрощает” предложение, и вместе с грамматическими усложнениями исчезают важные ограничения.

5. Числа, даты, единицы измерения¶

В медицинском переводе путаница между mg и mcg (милли- и микрограммы) может быть смертельно опасной. В финансовых документах перепутанные запятые и точки в числах (1.500 в Германии это тысяча пятьсот, а в США - одна целая пять) могут стоить серьезных денег.

6. Стилистические несоответствия¶

Наименее опасный, но самый заметный тип - когда официальный документ переведен разговорным языком или наоборот. Свидетельство о рождении в стиле SMS-сообщения - это не то, что примет Ausländerbehörde.

Чеклист: 10 пунктов проверки качества перевода¶

Даже если ты не знаешь язык, на который перевели документ - эти 10 пунктов помогут выявить проблемы. Бери и проверяй.

1. Сравни длину текстов¶

Открой оригинал и перевод рядом. Если оригинал - 3 страницы, а перевод - 2, что-то пропущено. Если перевод длиннее на 30%+ - возможно, машина “нагаллюцинировала” лишнего. Для большинства европейских языков перевод отличается от оригинала на 10-25% (немецкий текст обычно длиннее английского, но короче русского).

2. Проверь все числа, даты и суммы¶

Это можно сделать даже без знания языка. Пройди по каждому числу в оригинале и найди его в переводе. 15 000 евро должно быть 15 000 евро, не 1 500 и не 150 000. Даты должны совпадать - и обрати внимание на формат (DD.MM.YYYY в Европе vs MM/DD/YYYY в США). Адреса, номера телефонов, банковские реквизиты - все должно быть идентично.

3. Проверь имена собственные и названия¶

Фамилии, названия компаний, улицы, города - они или транслитерируются, или остаются на языке оригинала, но не “переводятся”. Если “Ковальчук” стал “Kowalczyk” или “Kyiv” стал “Kiev” - это красный флажок.

4. Найди непереведенные фрагменты¶

Бывает, что машина оставляет куски текста на языке оригинала. Особенно часто это случается с таблицами, сносками, заголовками или текстом в скобках. Один пропущенный абзац может быть критичным.

5. Проверь структуру документа¶

Количество абзацев, пунктов в списке, строк в таблице должно совпадать. Если в оригинале 12 пунктов договора, а в переводе 11 - есть проблема. Если таблица из 5 колонок превратилась в 4 - тоже.

6. Сделай обратный перевод (back translation)¶

Возьми перевод и прогони его через другой сервис обратно на язык оригинала. Сравни с оригиналом. Если обратный перевод кардинально отличается от оригинала - есть проблема. Метод не идеальный (двойной перевод всегда вносит искажения), но крупные расхождения - четкий сигнал.

7. Проверь последовательность терминологии¶

Одно и то же слово должно переводиться одинаково по всему документу. Если “Vertrag” на странице 1 - это “договор”, а на странице 5 - “контракт”, а на странице 8 - “соглашение”, перевод непоследователен. Для CAT-инструментов это стандартная функция, но чистый машинный перевод часто “забывает” как переводил термин раньше.

8. Ищи “AI-маркеры”¶

Машинный перевод имеет характерные признаки: чрезмерно длинные предложения, шаблонные конструкции, однотипные связки между абзацами (“кроме того”, “более того”, “стоит отметить”). Если текст читается как учебник 2005 года - вероятно, его не вычитывал человек.

9. Оцени форматирование¶

Таблицы должны быть таблицами, списки - списками. Если в оригинале был нумерованный список из 8 пунктов, а в переводе это слилось в один абзац - качество обработки документа низкое. Сохранение форматирования при переводе - отдельная тема, но ее тоже нужно проверять.

10. Попроси носителя языка прочитать¶

Самый надежный способ - найди человека, который знает целевой язык, и попроси его прочитать перевод. Не обязательно специалиста - даже знакомый, который понимает язык, сможет выявить явную чушь, неестественные конструкции или бессмысленные фрагменты.

Метрики качества: что означают BLEU, COMET и MQM¶

Если ты когда-нибудь столкнулся с обсуждением качества машинного перевода, ты мог видеть эти аббревиатуры. Вот что они означают простым языком.

BLEU (Bilingual Evaluation Understudy) - самая старая и известная метрика. Считает сколько слов и фраз в машинном переводе совпадают с “эталонным” человеческим переводом. Шкала от 0 до 100. Выше 30 - “приемлемо”, выше 50 - “хорошо”. Проблема: два одинаково правильных перевода с разными формулировками получат низкий BLEU, потому что слова не совпадают. Поэтому BLEU постепенно выходит из моды.

COMET - современная метрика на основе нейросети, обученной на оценках людей. Она понимает смысл, а не просто считает совпадение слов. Если перевод передает правильный смысл другими словами - COMET это оценит. Считается гораздо точнее BLEU для современных систем перевода.

MQM (Multidimensional Quality Metrics) - не метрика, а система оценки со 100+ типами ошибок. Каждая ошибка получает “вес”: минорная (1 балл), мажорная (5 баллов), критическая (25 баллов). Категории: терминология, точность, гладкость, стиль, локализация. Это золотой стандарт профессиональной оценки качества, который используют крупные переводческие компании и определяет новый ISO 5060:2024.

Для тебя как заказчика эти метрики означают одно: если исполнитель может показать результаты по COMET или MQM - это серьезный подход к качеству. Если он хвалится “высоким BLEU score” - это устаревшая метрика, и стоит задать дополнительные вопросы.

Красные флажки: когда точно стоит насторожиться¶

Некоторые признаки кричат “тут проблема” еще до того, как ты откроешь файл с переводом.

Цена слишком низкая. Если тебе предлагают перевод 4 000 слов за $50 - это или чистый машинный перевод без редактирования, или демпинг. Профессиональный переводчик делает 2 000-2 500 слов в день. Специализированный перевод (юридический, медицинский) стоит $0.15-0.30 за слово. Если цена ниже $0.08 за слово - уточни, включено ли редактирование.

Срок выполнения нереально короткий. 20 страниц за 2 часа - это точно машинный перевод. Возможно, с пост-редактированием (MTPE), возможно без. Спроси.

Исполнитель не задает вопросов. Хороший переводчик всегда уточняет: для какой цели перевод, какой инстанции, есть ли глоссарий или предыдущие переводы. Если он молча взял документ и через час вернул - насторожись.

Нет сертификаций или отзывов. Для заверенного перевода нужен переводчик с соответствующим статусом. Для обычного перевода - хотя бы отзывы клиентов или портфолио. Если нет ни того, ни другого - риск.

Перевод вернулся в .txt вместо оригинального формата. Если ты отправил .docx с таблицами и форматированием, а получил голый текст - значит документ прогнали через базовый MT без какой-либо обработки.

Сколько стоит проверка качества перевода¶

Иногда дешевле заплатить за независимую проверку, чем потом разгребать последствия плохого перевода.

Для важных документов (контракты, медицинские заключения, документы для суда) - проверка окупается всегда. 10-страничный контракт проверить обойдется в $50-100. Ошибка в контракте может стоить десятки тысяч.

Когда машинный перевод достаточно хорош (и когда нет)¶

Не каждый перевод требует идеального качества. Вот честная раскладка.

МП без редактирования подходит для: - Внутренняя коммуникация (понять суть письма от коллеги) - Браузинг контента на иностранном языке (статьи, обзоры, новости) - Предварительная оценка документа (понять о чем речь, прежде чем заказывать профессиональный перевод)

МП с пост-редактированием подходит для: - Маркетинговые материалы с ограниченным бюджетом - Техническая документация с повторяющейся терминологией - Большие объемы текста, где идеальное качество не критично

Только профессиональный перевод для: - Юридические документы - контракты, доверенности, уставы - Медицинская документация - диагнозы, рецепты, выписки - Документы для государственных инстанций - от Ausländerbehörde до Standesamt - Финансовая отчетность для аудита - Все, что требует заверенного перевода

Частые вопросы¶

Как проверить качество перевода, если я не знаю язык?¶

Сравни длину текстов (разница более 25% - подозрительна), проверь все числа, даты и имена собственные, сделай обратный перевод через другой сервис и сравни с оригиналом. Если можешь - попроси носителя языка прочитать перевод. Эти методы не заменят профессиональную проверку, но помогут выявить грубые ошибки.

Сколько стоит независимая проверка качества перевода?¶

Вычитка (пруфридинг) стоит примерно $0.03-0.08 за слово, полноценное редактирование - $0.05-0.12 за слово. Для 10-страничного документа это ориентировочно $50-150. Для важных документов (контракты, медицинские справки, документы для суда) эта инвестиция окупается - ошибка в переводе может стоить гораздо дороже.

Что такое BLEU score и можно ли на него ориентироваться?¶

BLEU - это метрика, которая считает совпадение слов между машинным и “эталонным” переводом. Шкала от 0 до 100, выше 30 - приемлемо, выше 50 - хорошо. Но BLEU устарела: она не понимает смысл, а лишь сравнивает слова. Современные метрики типа COMET точнее, потому что учитывают значение, а не только форму. Если исполнитель хвалится BLEU - это ок, но спроси также про COMET или MQM.

Какие самые опасные ошибки машинного перевода?¶

Самые опасные - пропуски (когда машина “съедает” часть текста, особенно отрицание “не”) и галлюцинации (когда машина добавляет информацию, которой не было в оригинале). Оба типа очень сложно заметить без детального сравнения с оригиналом, потому что текст выглядит гладко и правильно. В юридических документах пропущенное “не” может изменить смысл на противоположный.

Можно ли доверять обратному переводу как методу проверки?¶

Обратный перевод (back translation) - полезный инструмент, но не идеальный. Ты переводишь результат обратно на язык оригинала другим сервисом и сравниваешь. Крупные расхождения - четкий сигнал проблемы. Но этот метод не поймает стилистические ошибки, несоответствующий регистр языка или тонкие изменения смысла. Используй его как один из инструментов, не как единственный.