Слышите от менеджеров: переходим на MTPE, заметили 150% прирост. Думаете: почему у вас не 150%, а 40%? Читаете статью о бенчмарках — “в среднем 3000-5000 слов в день” — и спрашиваете сотрудников, почему они делают 1500?
Вся беда в том, что нормы из веб-гайдов — это средние по больнице. Языковая пара EN→FR действительно даёт +130%, но EN→SV идёт в минус. Юридические контракты хуже маркетинга. Ваш МТ-движок может быть неподходящим для вашего домена. Реальные цифры для MTPE выходят только из пилотного проекта на вашем материале, вашей команде, с вашими инструментами.
Этот гайд показывает точный процесс: как смоделировать MTPE, измерить отклик, рассчитать ROI и решить, масштабировать это или вернуться к ручному переводу.
Почему пилот — это не опция, а необходимость¶
Придётся быть честным: MTPE окупает себя далеко не всегда. Вот реальный сценарий:
Агентство обрабатывает 200000 слов в год. Кто-то предложил MTPE: будет в 3 раза быстрее, будут экономии. Агентство купило лицензию Trados, нанял постредактора, потратил €2000 на обучение и настройку. За год толкнул 150000 слов через MTPE (остаток в основном нишевые или маленькие). Получил 20% прирост производительности вместо ожидаемых 50%. Затраты не окупались.
Почему? Потому что они тестировали на 500 словах заранее, потом по запалу перешли на полную схему. Они не знали, что их языковая пара (английский → датский) более “хитрая” для МТ. Не проверяли качество выходного постредактированного текста. Не учитывали 30% переделок на исправление ошибок.
Пилот позволяет убедиться, прежде чем встраивать системы. Это стоит времени (1-2 недели), но спасает вас от дорогих ошибок масштабирования или покупки дорогой системы, которая не работает.
Шаг 1: Определите языковую пару, домен и уровень MTPE¶
Начните с того, над чем вы хотите экспериментировать.
Выберите одну языковую пару для первого пилота. EN→DE? EN→FR? Нет, не DE и FR одновременно — отдельно. Языки отличаются. От английского к французскому MTPE даёт +130% прироста, а к шведскому минус -7%. Если тестировать обе сразу, результаты смешаются, и вы не будете знать, что виноват.
Домен. Какой тип контента вы обычно переводите? Техническая документация? Маркетинг? Официальные документы? MTPE хорошо идёт для технических текстов (константная терминология, чёткие предложения) и хуже для маркетинга (вдохновение, неповторяемость). Будьте честны: если у вас 50% маркетинга, тестируйте именно на маркетинге, не на специализированной документации.
Full или light постредактирование? - Full: цель — выход сопоставимый с ручным переводом. Соответствие ISO 18587. Для официальных, юридических, критических контентов. - Light: цель — понятность + экономия времени, меньше совершенства. Для внутренних процессов, технических заметок, лендингов.
Light PE должна дать 60-100% быстрее, чем full PE. Full PE может вообще не выиграть от MTPE, если контент специфичен.
Шаг 2: Подготовьте исходный материал¶
Размер выборки. Минимум 5000-10000 слов для первого обзора, но если хотите статистической уверенности — 50000-100000. Чем больше, тем лучше видна тенденция.
Почему не 500 слов? Потому что 500 слов — это шум. Постредактор на малом объёме вбивает мотивацию, адаптируется, пробует новые приёмы. Результаты непоказательны. На 10000 словах уже видны настоящие показатели.
Выберите материал, который репрезентирует ваш типичный контент. Не берите уж очень лёгкий текст, того где вы и без MTPE быстро работаете. Также не экстремально сложный. Репрезентативный материал.
Документируйте метаданные: - Дата начала - Целый текст источника на исходном языке - Языковая пара - Домен/тип контента - Какие постредакторы участвуют (один человек или больше) - Какой МТ-движок вы тестируете (DeepL? Claude? Google? Проприетарная система?)
Шаг 3: Проведите машинный перевод¶
Переведите материал машинно.
Выбор МТ-движка — это всё остальное в MTPE. Плохой МТ всегда дает плохие результаты постредактирования. Непонятно, виновата ли MTPE или просто ваш движок слабый.
Рекомендуем тестировать тот движок, который вы планируете использовать в production. Если вы ещё не решили — тестируйте минимум 2-3: - DeepL (лучше для западных языков) - Google Translate (больше языковых пар) - Claude/GPT (хорошо для контекста, но дорого)
Не тратьте время на выбор “идеального” движка в пилоте. Выберите наиболее вероятный, потом корректируйте.
Сохраните версию МТ без редактирования. Вы будете её сравнивать.
Шаг 4: Постредактирование и измерение¶
Теперь постредактор занимается выходом МТ. Требование: сделать его достаточно хорошим по вашим стандартам качества.
Измеряйте три вещи одновременно:
Время¶
Попросите постредактора записывать время начала и завершения работы на документе (или сегменте, если инструмент это поддерживает). Фокусируйтесь на реальном времени редактирования, не учитывая перерывы, кофе, исследования.
Если инструмент не поддерживает автоматическое логирование — выделите время вручную. Позже вы рассчитываете слова в час:
слова в час = количество редактированных слов / реальное время редактирования
Edit Distance¶
Edit distance — количество символов или слов, которые изменились, от МТ до редактированной версии. Это показывает механический объём работы.
Большинство CAT-инструментов (memoQ, Memsource, Phrase) рассчитывают это автоматически. Если вы работаете в Word или Google Docs — вручную сравните версии.
Формула: Edit distance (%) = (количество изменённых слов / всего слов) × 100
Например, из 1000 слов было изменено 350 слов (добавлены, удалены, заменены) = 35% ED.
Больший ED = больше работы. 30% ED может быть нормально, 70% — значит МТ был очень плох.
Качество¶
После редактирования проверьте качество выходного текста. На 5-10% материала (минимум 500-1000 слов) проведите независимую проверку, если возможно. Вопросы:
- Сколько ошибок вы нашли?
- Тип ошибок: языковые (грамматика), смысловые (неправильный перевод), терминологические, форматирование?
- Удовлетворяет ли качество вашим стандартам (ISO 18587: full PE < 2 ошибки/1000 слов)?
Если вы проверяете редакцию другого человека — он заполняет форму статуса и указывает ошибки. Это самый точный способ.
Шаг 5: Рассчитайте показатели¶
После завершения пилота рассчитайте:
Производительность (слова в час)¶
Full постредактирование: исполнитель обработал 7000 слов за 10 часов = 700 слов/ч
Light постредактирование: тот же текст, но быстрее, может быть 1000 слов/ч
Для сравнения: ручной перевод лучше 250 слов/ч. Если постредактирование 700 слов/ч, это прирост в 2.8 раза.
Edit Distance (средний)¶
Если вы получили 50% ED в среднем, это означает, что половину выходного текста МТ дал уже в достаточно хорошем состоянии — постредактор просто изменил 50%, а 50% оставил как есть.
Низкий ED (< 30%) = МТ был хороший, мало работы; высокий ED (> 60%) = МТ был плох, больше работы.
Стоимость за слово¶
Если ставка постредактора $0.05/слово или CHF 90/ч:
- Full PE: 700 слов/ч при CHF 90/ч = CHF 0.129/слово (или 51% от ставки ручного перевода)
- Light PE: 1000 слов/ч при CHF 90/ч = CHF 0.09/слово
ROI на основе чисел¶
Предположим, ручной перевод стоит $0.20/слово, MTPE — $0.09.
На 100000 слов: - Ручной перевод: $20000 - MTPE: $9000 - Экономия: $11000 минус затраты на МТ-систему
Если ваша МТ-система стоит $5000/год лицензии, ROI = ($11000 - $5000) / $5000 = 120% за год. Вы окупились на первых 50000 словах.
Но если вместо 100000 слов у вас 20000 в год — ROI намного хуже.
Шаг 6: Проверьте качество¶
Это критический момент, который часто пропускают.
Возьмите 10% результата (минимум 500 слов) и имейте его независимо проверить. Вопросы:
- Звучит ли текст естественно?
- Верны ли термины?
- Нет ли упущенного контента или смысловых ошибок?
Если качество ниже вашего стандарта — значит вы не готовы масштабироваться. Сценарии:
- МТ качеством: движок очень плох для вашего домена. Попробуйте другой.
- Постредактор не быстрый: он учится, слишком тщательный для light PE. Нужна тренировка.
- Контент сложный: этот домен просто не предполагает MTPE. Оставьте как есть.
Шаг 7: Экстраполируйте на весь объём¶
Если пилот выиграл, рассчитайте масштаб.
Предположим пилот показал: - 700 слов/ч на full PE - 10% error rate (приемлемо для light PE) - $0.09/слово стоимость
В год вы обрабатываете 500000 слов. Это сколько времени?
500000 слов ÷ 700 слов/ч ÷ 240 рабочих дней/год = 2.98 переводчиков на MTPE
Сравните с ручным переводом: 500000 слов ÷ 250 слов/ч ÷ 240 дней = 8.33 переводчиков
Экономия: 5.35 постредакторов вместо 8.33 переводчиков в год. На зарплату ~$60000/год каждый = ~$320000 экономии. Минус затраты на МТ, инструменты, обучение.
Шаг 8: Бюджетируйте реальные затраты¶
Часто тратят только на МТ-движок. Реальные затраты:
| Категория | Стоимость |
|---|---|
| МТ-движок лицензия (год) | $1000-$10000 |
| CAT-инструмент (Trados/memoQ/Memsource в год) | $500-$5000 |
| Обучение постредакторов (начало) | $2000-$5000 |
| Модификация рабочего процесса (консультации) | $1000-$3000 |
| Всего первый год | ~$5000-$23000 |
На будущие годы: лицензии + текущее обслуживание. На 500000 слов/год ROI окупается за 6-12 месяцев. На 100000 слов/год — могут не окупиться.
Точка риска: когда MTPE идёт в минус¶
MTPE не всегда прибыльна. Вот сценарии, где она могла не сработать:
Сложная языковая пара¶
EN→SV (английский на шведский) в исследовании показал -7% скорости. MTPE был медленнее ручного перевода. Это случается, когда грамматика сильно отличается или МТ-системы плохо обучены для языковой пары.
Маркетинговые и креативные тексты¶
MTPE часто превосходит ручной перевод только на техническом контенте. На marketing copy, где требования по тону, юмору, культурной адаптации — часто исполнитель переписывает весь текст. Edit distance может быть >80%, что резко снижает преимущество.
Таблицы, формы, юридические документы¶
Очень структурированные тексты часто портятся МТ. Таблицы могут быть перевёрнуты, номера перепутаны, пометки потеряны. Постредактор тратит время на переделку. В результате выход на половину медленнее ручного перевода.
Уже очень быстрые переводчики¶
В некоторых командах, где переводчики уже ускорили свои процессы (шаблоны, сокращения и т.д.), прирост от MTPE минимален. Люди говорят: “Мы уже быстро работаем. MTPE не даст много.” И часто правы.
Масштабирование от пилота¶
Если пилот удался, как переходить к масштабу?
1. Расширьте пилот¶
Добавьте вторую языковую пару. Добавьте второго постредактора. Тестируйте на 50000 словах вместо 10000. Убедитесь, что результаты стабильны.
2. Установите бар качества¶
Определите точно, какой уровень ошибок приемлем. Используйте проверку качества по методу ISO 18587 или вашему собственному стандарту. Тренируйте постредакторов придерживаться этого.
3. Настройте процесс¶
Уточните: - Как движутся документы (МТ → постредактор → QA review)? - Кто несёт ответственность за ошибки? - Какие метрики вы мониторите в real-time? - Как компенсируются постредакторы (за время или за слово)?
4. Мониторьте качество¶
Со временем вас может искушать скомкать качество ради скорости. Это приводит к плохим результатам и потере клиентов. Систематические проверки качества (5-10% выхода) должны быть постоянные.
Инструменты для измерения¶
Минимум: - Spreadsheet для логирования времени, слов, ED - Счётчик слов (в Word, Trados, Memsource) - Diff-тул для сравнения МТ и постредактированной версии (можно Araxis Merge для Windows)
Лучше: - Memsource, memoQ, Trados — встроенный ED, логирование времени, QA-чеклист - Аналитика от ваших МТ-провайдеров
Возможно дорого: - BLEU/METEOR/COMET — автоматические метрики качества (потребует технического навыка)
Вопросы перед запуском масштаба¶
Перед тем как инвестировать по-настоящему, ответьте себе:
- Правильный ли МТ-движок? Edit distance должен быть <50%. Если >60%, попробуйте другой.
- На уровне ли качества? Независимая проверка показала < 2 ошибки на 1000 слов для full PE?
- Прибыльно ли? Рассчитали ROI на ваш настоящий объём. Больше 6 месяцев — риск.
- Готова ли команда? Постредакторы понимают требования качества? Готовы к изменениям в процессе?
- Масштабируется ли? Результаты пилота одного человека репрезентативны для команды?
Если на один из этих вопросов “нет” — пересмотрите пилот перед шагом к масштабу.
Заключение¶
MTPE — это не “включить” или “выключить.” Это инструмент, который окупается только на конкретных языковых парах, конкретном контенте, конкретной команде. Пилотное тестирование — единственный честный способ узнать, выиграете ли вы от этого.
Требует время — 2-4 недели. Стоит денег на текущие издержки. Но спасает вас от дорогих ошибок масштабирования или закупки дорогой системы, которая не работает.
Запустите пилот на одной языковой паре. Измеряйте честно. Решайте по цифрам, а не по надеждам.