Вислухаєте менеджерів, які кажуть, що переходять на MTPE і помітили 150% прирост продуктивності. Думаєте: чому у вас не 150%, а 40%? Прочитаєте статтю про benchmarks — “в середньому 3000-5000 слів на день” — і питаєте співробітників, чому вони роблять 1500?
Вся справа в тому, що норми з веб-гайдів — це середні по лікарні. Мовна пара EN→FR дійсно дає +130%, але EN→SV іде в мінус. Юридичні договори гірші за маркетинг. Ваш MT-engine може бути некондиційний для вашого домену. Реальні числа для MTPE виходять лише з пілотного проекту на вашому матеріалі, вашому тимі, вашим інструментам.
Цей гайд показує точний процес: як змоделювати MTPE, виміряти відповідь, розрахувати ROI і вирішити, масштабувати це чи повернутися до ручного перекладу.
Чому пілот — це не опція, а обов’язок¶
Прірвемо: MTPE окупає себе далеко не завжди. Вот real-world сценарій:
Агенція обробляє 200,000 слів на рік. Хтось запропонував MTPE: ось буде 3x швидше, будуть заощадження. Агенція купила ліцензію Trados, нанялася post-editor, витратила 2,000€ на навчання й налаштування. За рік штовхала 150,000 слів через MTPE (решта переважно нішеві чи малі). Отримала 20% прірост продуктивності замість очікуваних 50%. Витрати не окупалися.
Чому? Тому що вони тестували на 500 словах попереднього, потім по запалу перейшли на повну схему. Вони не знали, що їхня мовна пара (англійська → данська) більш “хитра” для MT. Не перевіряли якість вихідного post-edited тексту. Не видповідували 30% переробок на переправку помилок.
Пілот дозволяє переконатися, перш ніж укладати системи. Це коштує часу (1-2 тижні), але економить 10,000€ на неправильній системі.
Крок 1: Визначте мовну пару, домен та MTPE-рівень¶
Почніть з того, над чим ви хочете експериментувати.
Виберіть одну мовну пару для першого пілоту. EN→DE? EN→FR? Ні, не DE і FR одночасно — окремо. Мови відрізняються. У англійської до французької MTPE дає +130% прірост, а до шведської мінус -7%. Якщо тестуєте обидві разом, результати змішаються, й ви не будете знати, що лякається.
Домен. Котрий тип контенту ви, як правило, перекладаєте? Технічна документація? Маркетинг? Уповноважені документи? MTPE добре йде для технічних текстів (константна термінологія, чіткі речення) й гірше для маркетингу (натхнення, неповторіння). Будьте чесні: якщо у вас 50% маркетингу, протестуйте саме на маркетингу, не на спеціалізованій документації.
Full або light post-editing? - Full: мета — виход порівнянний з ручним перекладом. Відповідність ISO 18587. Для офіційних, юридичних, критичних контентів. - Light: мета — зрозумілість + економія часу, меньш совершенство. Для внутрішніх процесів, технічних поміток, лендінгів.
Light PE має дати 60-100% більш швидко, ніж full PE. Full PE може й зовсім не виграти від MTPE, якщо контент специфічний.
Крок 2: Підготуйте вихідний матеріал¶
Розмір вибірки. Мінімум 5,000-10,000 слів для першого огляду, але якщо хочете статистичної впевненості — 50,000-100,000. Чим більше, тим краще видна тенденція.
Чому не 500 слів? Тому що 500 слів — це шум. Post-editor на малому обсязі впиває мотивацію, адаптується, пробує нові прийоми. Результати непоказові. На 10,000 словах уже видні справжні показники.
Виберіть матеріал, який репрезентує ваш типовий контент. Не бирайте ну дуже легкий текст, тим де ви і без MTPE швидко робите. Також не екстремально складний. Репрезентативний матеріал.
Документуйте метадані: - Дата початку - Целий текст вихідного мовою - Мовна пара - Домен/тип контенту - Які post-editors беруть участь (одна людина чи більше) - Який MT-engine ви тестуєте (DeepL? Claude? Google? Пропрієтарна система?)
Крок 3: Проведіть машинний переклад¶
Переведіть матеріал машинно.
Вибір MT-engine — це першу тритва решта MTPE. Погана MT завжди дає погані результати post-editingu. Не ясно, це виробничо MTPE не підходить, чи просто ваш engine слабкий.
Рекомендуємо тестувати той engine, який ви плануєте використовувати в production. Якщо ви ще не вирішили — протестуйте найменше 2-3: - DeepL (найкраще для західних мов) - Google Translate (найбільше мовних пар) - Claude/GPT (хорошо для контексту, але дорого)
Не витрачайте час на вибір “ідеального” engine в пілоті. Виберіть найбільш ймовірний, потім корегуйте.
Зберегти версію MT без редагування. Ви будете порівнювати з нею.
Крок 4: Post-editing й вимірювання¶
Тепер post-editor займається вихідним MT-текстом. Вимога: зробити його достатньо хорошим за вашими стандартами якості.
Вимірюйте три речі одночасно:
Час¶
Попросіть post-editor записувати час початку й завершення роботи на документі (або сегменті, якщо інструмент це підтримує). Фокусуватись на реальному часі редагування, не враховуючи перерв, чаю, дослідження.
Якщо інструмент не підтримує автоматичне логування — виділіть час вручну. Пізніше ви розраховуєте слова в годину:
слова на годину = кількість редагованих слів / реальний час редагування
Edit Distance¶
Edit distance — кількість символів чи слів, що змінилися, від MT до редагованого версіі. Це показує механічний обсяг роботи.
Більшість CAT-інструментів (memoQ, Memsource, Phrase) обраховують це автоматично. Якщо ви працюєте в Word чи Google Docs — вручну порівняйте версії.
Формула: Edit distance (%) = (кількість змін слова / всього слів) × 100
Наприклад, на 1,000 слів було змінено 350 слів (додані, вилучені, замінені) = 35% edit distance.
Більший edit distance = більше роботи. 30% ED може бути нормально, 70% — значить MT був дуже погань.
Якість¶
После редагування перевірте якість вихідного тексту. На 5-10% матеріалу (мінімум 500-1000 слів) проведіть незалежну перевірку, якщо можливо. Питання:
- Скільки помилок ви знайшли?
- Тип помилок: мовні (граматика), смислові (неправильний переклад), термінологічні, форматування?
- Чи задовольняє якість вашим стандартам (ISO 18587: full PE < 2 помилки/1000 слів)?
Якщо ви перевіряєте редакцію іншої людини — вона заповнює форму стану і вказує помилки. Це найточніший спосіб.
Крок 5: Розрахуйте показники¶
Після завершення пілоту розраховуйте:
Продуктивність (слова на годину)¶
Full post-editing: виконавець обробив 7,000 слів за 10 годин = 700 слів/год
Light post-editing: той же текст, але швидше, може бути 1,000 слів/год
Для порівняння: ручний переклад лучше за 250 слів/год. Якщо post-editing 700 слів/год, це прирост в 2.8x.
Edit Distance (середня)¶
Якщо ви зробили 50% edit distance в середньому, це означає, що половину вихідного тексту MT дав вже в достатньо хорошому стані — post-editor прос змінив 50%, а 50% залишив як є.
Низька ED (< 30%) = MT був хороший, little work; висока ED (> 60%) = MT був погань, більше роботи.
Вартість за слово¶
Якщо ставка post-editora $0.05/слово або CHF 90/год:
- Full PE: 700 слів/год при CHF 90/год = CHF 0.129/слово (чи 51% від ставки ручного перекладу)
- Light PE: 1,000 слів/год при CHF 90/год = CHF 0.09/слово
ROI на основі числа¶
Припустимо, ручний переклад коштує $0.20/слово, MTPE — $0.09.
На 100,000 слів: - Ручний переклад: $20,000 - MTPE: $9,000 - Економія: $11,000 мінус витрати на MT-систему
Якщо ваша MT-система коштує $5,000/рік ліцензії, ROI = ($11,000 - $5,000) / $5,000 = 120% за рік. Ви окупилися за перші 50,000 слів.
Але якщо замість 100,000 слів ви маєте 20,000 на рік — ROI дуже гіршається.
Крок 6: Перевірте якість¶
Це критичний момент, якому часто пропускають.
Візьміть 10% результату (мінімум 500 слів) і мають перевірену незалежну експертна. Питання:
- Чи текст читається природно?
- Чи вірні терміни?
- Чи немає втраченого контенту чи помилок смислу?
Якщо вибір якості нижче вашого стандарту — значить ви не готові масштабувати. Сценарії:
- MT на якості: engine дуже погань для вашого домену. Спробуйте інший.
- Post-editor не швидкий: він вчиться, надто ретельний для light PE. Потрібне навчання.
- Контент важкий: цей домен просто не передбачає MTPE. Залишіть як є.
Крок 7: Екстраполюйте на весь обсяг¶
Якщо пілот виграв, розраховуйте масштаб.
Припустимо пілот показав: - 700 слів/год на full PE - 10% error rate (більше допустимо для light PE) - $0.09/слово вартість
На рік ви обробляєте 500,000 слів. Це скільки часу?
500,000 слів ÷ 700 слів/год ÷ 240 робочих днів/рік = 2.98 перекладачів на MTPE
Порівняйте з ручним перекладом: 500,000 слів ÷ 250 слів/год ÷ 240 днів = 8.33 перекладачів
Збереження: 5.35 постредакторів замість 8.33 перекладачів на рік. На зарплату ~$60,000/року кожен = ~$320,000 заощаджень. Мінус витрати на MT, інструменти, навчання.
Крок 8: Бюджетуйте реальні витрати¶
Часто витрачають лише на MT-engine. Реальні витрати:
| Категорія | Вартість |
|---|---|
| MT-engine ліцензія (рік) | $1,000-$10,000 |
| CAT-інструмент (Trados/memoQ/Memsource за рік) | $500-$5,000 |
| Навчання постредакторів (початків) | $2,000-$5,000 |
| Модифікація робочого процесу (консультації) | $1,000-$3,000 |
| Всього перший рік | ~$5,000-$23,000 |
На майбутні роки: ліцензії + поточне обслуговування. На 500,000 слів/рік ROI окупається за 6-12 місяців. На 100,000 слів/рік — можуть не окупатися.
Частинка ризику: коли MTPE йде в мінус¶
MTPE не завжди прибуткове. Нанослідуючи сценарії, де вона могла не спрацювати:
Складна мовна пара¶
EN→SV (англійська на шведське) у дослідженні показала -7% швидкості. MTPE був іде повільніше, ніж ручний переклад. Це стається, коли граматика дуже різна чи MT-системи погано обучені за мовній парі.
Маркетингові і креативні тексти¶
MTPE часто перевищує ручний переклад лише на технічному контенту. На marketing copy, де вимоги по тонусу, гумору, культурній адаптації — часто виконавець переписує весь текст. Edit distance може бути >80%, що дуже різко зменшує переважну.
Таблиці, форми, юридичні документи¶
Дуже структуровані тексти часто гіршають через MT. Таблиці можуть бути перевернені, номери помішані, замечания потовані. Post-editor витрачає час на переделку. У результаті вихід на полусідню гадку жалкі ручному перекладу.
Уже дуже гарні перекладачі¶
У деяких командах, де перекладачі вже прискорено їхні процеси (шаблони, скорочення й ін.), прирістут від MTPE мінімальний. Люди говорять: “Ми вже швидко трохи. MTPE не дасть багато.” І часто правиці.
Масштабування від пілоту¶
Якщо пілот вдався, як переходити до масштабу?
1. Розширте пілот¶
Додайте другу мовну пару. Додайте другого post-editora. Протестуйте на 50,000 словах замість 10,000. Переконайтеся, що результати стабільні.
2. Встановіть якість бар¶
Визначте точно, який рівень помилок прийнятний. Поштобирайте перевірку якості по методу ISO 18587 або вашому власному стандарту. Тренуйте постредакторів дотримуватися цього.
3. Налаштуйте процес¶
Уточніть: - Як міняються документи (MT → post-editor → QA review)? - Хто несе відповідальність за помилки? - Які метрики ви моніторите в реал-тайме? - Як компенсуються post-editori (за час чи за слово)?
4. Моніторьте якість¶
По рокам, вас може утиснути спокуса скомкати якість задля швидкості. Це приводить до жалкие результатів і втрат клієнтів. Систематичні перевірки якості (5-10% виходу) мають бути постійні.
Інструменти для вимірювання¶
Мінімум: - Spreadsheet для логування часу, слів, edit distance - Лічильник слів (у Word, Trados, Memsource) - Diff-тулка для порівняння MT і post-edited версіи (можна Araxis Merge для Windows)
Краще: - Memsource, memoQ, Trados — вбудовані edit distance, логування часу, QA-чеклист - Análise tools від ваших MT-провайдерів
Можливо дорого: - BLEU/METEOR/COMET — автоматичні метрики якості (потребуватиме технічної серни)
Запитання перед запуском масштабу¶
Перед тим, як інвестувати по-справжньому, відповіді собі:
- Чи правильний MT-engine? Edit distance мав бути <50%. Якщо >60%, спробуйте інший.
- Чи на рівні якості? Незалежна перевірка показала < 2 помилки на 1000 слів для full PE?
- Чи прибуткове? Розраховуєте ROI на ваш настоящий обсяг. Більше 6 місяців — ризик.
- Чи команда готова? Post-editori розуміють вимоги якості? Готові до змін в процесі?
- Чи масштабується? Результати пілоту від однієї людини репрезентативні на команду?
Якщо на одне з цих запитань “не” — переглядайте пілот перед кроком до масштабу.
Висновок¶
MTPE — це не “вимкнув” чи “вимкнув.” Це інструмент, який окупається тільки на конкретних мовних парах, конкретному контенті, конкретній команді. Пілотне тестування — це єдиний честний спосіб дізнатися, чи виграєш ви от цього.
Потрібно часу — 2-4 тижні. Коштує грошей на поточні vitrata. Але заощаджує ви від дорогих помилок масштабування чи від закупівлі дорогої системи, яка не працює.
Запніть пілот на одній мовній парі. Виміряйте честно. Вирішуйте по цифрам, а не по надіям.