Як оцінити якість машинного перекладу: чеклист для замовника

Ти замовив переклад контракту через онлайн-сервіс, отримав файл, відкрив - і бачиш текст іноземною мовою, в якій розбираєшся так собі. Виглядає акуратно, форматування на місці, і Google Translate вроде підтверджує що все ок. Підписуєш. А через три місяці з’ясовується, що “орендар зобов’язаний” перетворилось на “орендар має право”, і тепер це коштує тобі 15 000 євро. Якщо ти хочеш уникнути таких сюрпризів - ось чеклист, який допоможе оцінити якість перекладу навіть без глибоких знань мови.

Чому “виглядає нормально” - це не показник якості¶

Головна пастка машинного перекладу - він видає гладенький, граматично правильний текст. Особливо сучасні моделі типу ChatGPT, Claude або DeepL. Речення побудовані правильно, стиль відповідає, знаки пунктуації на місці. І саме це робить перевірку складною.

Старий Google Translate десятирічної давнини виплювував нісенітницю, яку одразу видно. Ти бачив “переклад” і розумів - тут щось не так. Сучасний ШІ помиляється елегантно. Він може додати інформацію, якої не було в оригіналі, пропустити ключове слово або тихо змінити зміст - і все це виглядатиме ідеально.

HSBC заплатив $10 мільйонів за ребрендинг, коли їхній слоган “Assume Nothing” переклали як “Do Nothing” - “Не робіть нічого”. Норвезька олімпійська збірна замовила 15 000 яєць замість 1 500 через помилку Google Translate з корейською системою підрахунку. А шведський Amazon при запуску в 2020 показав картки з “hand-knitted penis” замість “в’язаний пенал” - і це пройшло через автоматичний переклад без жодного попередження.

Ці приклади смішні, але коли мова йде про юридичний переклад або медичну документацію - наслідки зовсім не смішні.

Що саме може піти не так: 6 типів помилок МП¶

Перш ніж перевіряти переклад, корисно знати які типи помилок шукати. Ось шість основних категорій, від найнебезпечніших до найочевидніших.

1. Пропуски (omissions)¶

Машина “з’їдає” частину тексту. Це найпідступніший тип помилки, бо ти не бачиш те, чого немає. Особливо небезпечно, коли зникає частка “не” - і “виконавець не несе відповідальності” перетворюється на “виконавець несе відповідальність”. Один форумний користувач описував ситуацію, коли ChatGPT при перекладі трудового договору просто “проковтнув” речення про випробувальний термін - і ніхто не помітив до підписання.

2. Галюцинації (additions)¶

Протилежна проблема - машина додає те, чого не було в оригіналі. ШІ-галюцинації особливо небезпечні в юридичних текстах: модель може “дописати” конкретну суму штрафу, додати умову розірвання договору або вигадати посилання на закон, якого не існує. За даними бенчмарків 2025 року, навіть найкращі моделі галюцинують в 0.7-4.4% випадків - і для юридичних текстів ці цифри значно вищі.

3. Термінологічні помилки¶

Слово “Haftung” у контракті - це “відповідальність” чи “майнова відповідальність”? “Gesellschaft” - “товариство”, “компанія” чи “суспільство”? Машинний переклад часто вибирає загальновживаний варіант замість спеціалізованого юридичного терміна. Google Translate показує 92% точності для базових англо-іспанських медичних фраз, але лише 57.7% для складніших медичних термінів.

4. Зміна змісту (meaning rewrite)¶

“Орендар може продовжити договір за умови погодження з орендодавцем” перетворюється на “орендар має право на продовження договору”. Нюанс зникає, юридичний зміст стає іншим. Машина “спрощує” речення, і разом із граматичними ускладненнями зникають важливі обмеження.

5. Числа, дати, одиниці виміру¶

В медичному перекладі плутанина між mg і mcg (мілі- і мікрограми) може бути смертельно небезпечною. У фінансових документах переплутані коми і крапки в числах (1.500 в Німеччині це тисяча п’ятсот, а в США - одна цілих п’ять) можуть коштувати серйозних грошей.

6. Стилістичні невідповідності¶

Найменш небезпечний, але найпомітніший тип - коли офіційний документ перекладено розмовною мовою або навпаки. Свідоцтво про народження в стилі SMS-повідомлення - це не те, що прийме Ausländerbehörde.

Чеклист: 10 пунктів перевірки якості перекладу¶

Навіть якщо ти не знаєш мову, на яку переклали документ - ці 10 пунктів допоможуть виявити проблеми. Бери і перевіряй.

1. Порівняй довжину текстів¶

Відкрий оригінал і переклад поруч. Якщо оригінал - 3 сторінки, а переклад - 2, щось пропущено. Якщо переклад довший на 30%+ - можливо, машина “нагалюцинувала” зайвого. Для більшості європейських мов переклад відрізняється від оригіналу на 10-25% (німецький текст зазвичай довший за англійський, але коротший за український).

2. Перевір всі числа, дати і суми¶

Це можна зробити навіть без знання мови. Пройди по кожному числу в оригіналі і знайди його в перекладі. 15 000 євро має бути 15 000 євро, не 1 500 і не 150 000. Дати повинні збігатися - і зверни увагу на формат (DD.MM.YYYY в Європі vs MM/DD/YYYY в США). Адреси, номери телефонів, реквізити банку - все повинно бути ідентичне.

3. Перевір власні імена та назви¶

Прізвища, назви компаній, вулиці, міста - вони або транслітеруються, або залишаються оригінальною мовою, але не “перекладаються”. Якщо “Ковальчук” став “Kowalczyk” або “Kyiv” став “Kiev” - це червоний прапорець.

4. Знайди неперекладені фрагменти¶

Буває, що машина залишає шматки тексту мовою оригіналу. Особливо часто це трапляється з таблицями, виносками, заголовками або текстом у дужках. Один пропущений абзац може бути критичним.

5. Перевір структуру документа¶

Кількість абзаців, пунктів у списку, рядків у таблиці повинна збігатися. Якщо в оригіналі 12 пунктів договору, а в перекладі 11 - є проблема. Якщо таблиця з 5 колонками перетворилась на 4 - теж.

6. Зроби зворотний переклад (back translation)¶

Візьми переклад і прогони його через інший сервіс назад на мову оригіналу. Порівняй з оригіналом. Якщо зворотний переклад кардинально відрізняється від оригіналу - є проблема. Цей метод не ідеальний (подвійний переклад завжди вносить спотворення), але великі розбіжності - чіткий сигнал.

7. Перевір послідовність термінології¶

Одне і те ж слово повинно перекладатися однаково по всьому документу. Якщо “Vertrag” на сторінці 1 - це “договір”, а на сторінці 5 - “контракт”, а на сторінці 8 - “угода”, переклад непослідовний. Для CAT-інструментів це стандартна функція, але чистий машинний переклад часто “забуває” як перекладав термін раніше.

8. Шукай “AI-маркер蔶

Машинний переклад має характерні ознаки: надмірно довгі речення, шаблонні конструкції, однотипні зв’язки між абзацами (“крім того”, “більш того”, “варто зазначити”). Якщо текст читається як підручник з 2005 року - ймовірно, його не вичитувала людина.

9. Оціни форматування¶

Таблиці повинні бути таблицями, списки - списками. Якщо в оригіналі був нумерований список з 8 пунктів, а в перекладі це злилось в один абзац - якість обробки документа низька. Збереження форматування при перекладі - це окрема тема, але її теж потрібно перевіряти.

10. Попроси нативного спікера прочитати¶

Найнадійніший спосіб - знайди людину, яка знає цільову мову, і попроси її прочитати переклад. Не обов’язково спеціаліста - навіть знайомий, який розуміє мову, зможе виявити явні нісенітниці, неприродні конструкції або безглузді фрагменти.

Метрики якості: що означають BLEU, COMET і MQM¶

Якщо ти коли-небудь зіткнувся з обговоренням якості машинного перекладу, ти міг бачити ці абревіатури. Ось що вони означають простою мовою.

BLEU (Bilingual Evaluation Understudy) - найстаріша і найвідоміша метрика. Рахує скільки слів і фраз у машинному перекладі збігаються з “еталонним” людським перекладом. Шкала від 0 до 100. Вище 30 - “прийнятно”, вище 50 - “добре”. Проблема: два однаково правильних переклади з різними формулюваннями отримають низький BLEU, бо слова не збігаються. Тому BLEU потроху виходить з моди.

COMET - сучасна метрика на основі нейромережі, навченої на оцінках людей. Вона розуміє зміст, а не просто рахує збіг слів. Якщо переклад передає правильний зміст іншими словами - COMET це оцінить. Вважається набагато точнішою за BLEU для сучасних систем перекладу.

MQM (Multidimensional Quality Metrics) - не метрика, а система оцінки з 100+ типами помилок. Кожна помилка отримує “вагу”: мінорна (1 бал), мажорна (5 балів), критична (25 балів). Категорії: термінологія, точність, гладкість, стиль, локалізація. Це золотий стандарт професійної оцінки якості, який використовують великі перекладацькі компанії і визначає новий ISO 5060:2024.

Для тебе як замовника ці метрики означають одне: якщо виконавець може показати результати за COMET або MQM - це серйозний підхід до якості. Якщо він хвалиться “високим BLEU score” - це застаріла метрика, і варто поставити додаткові питання.

Червоні прапорці: коли точно варто насторожитися¶

Деякі ознаки кричать “тут проблема” ще до того, як ти відкриєш файл з перекладом.

Ціна занадто низька. Якщо тобі пропонують переклад 4 000 слів за $50 - це або чистий машинний переклад без редагування, або демпінг. Професійний перекладач робить 2 000-2 500 слів на день. Спеціалізований переклад (юридичний, медичний) коштує $0.15-0.30 за слово. Якщо ціна нижча за $0.08 за слово - уточни, чи включено редагування.

Термін виконання нереально короткий. 20 сторінок за 2 години - це точно машинний переклад. Можливо, з пост-редагуванням (MTPE), можливо без. Запитай.

Виконавець не ставить питань. Хороший перекладач завжди уточнює: для якої цілі переклад, якій інстанції, чи є глосарій або попередні переклади. Якщо він мовчки взяв документ і через годину повернув - насторожся.

Немає сертифікацій або відгуків. Для завіреного перекладу потрібен перекладач з відповідним статусом. Для звичайного перекладу - хоча б відгуки клієнтів або портфоліо. Якщо немає ні того, ні іншого - ризик.

Переклад повернувся в .txt замість оригінального формату. Якщо ти відправив .docx з таблицями і форматуванням, а отримав голий текст - значить документ прогнали через базовий MT без будь-якої обробки.

Скільки коштує перевірка якості перекладу¶

Іноді дешевше заплатити за незалежну перевірку, ніж потім розгрібати наслідки поганого перекладу.

Для важливих документів (контракти, медичні висновки, документи для суду) - перевірка окупається завжди. 10-сторінковий контракт перевірити коштуватиме $50-100. Помилка в контракті може коштувати десятки тисяч.

Коли машинний переклад достатньо хороший (і коли ні)¶

Не кожен переклад потребує ідеальної якості. Ось чесна розкладка.

МП без редагування підходить для: - Внутрішня комунікація (зрозуміти суть листа від колеги) - Браузинг контенту іноземною мовою (статті, огляди, новини) - Попередня оцінка документа (зрозуміти про що мова, перш ніж замовляти професійний переклад)

МП з пост-редагуванням підходить для: - Маркетингові матеріали з обмеженим бюджетом - Технічна документація з повторюваною термінологією - Великі об’єми тексту, де ідеальна якість не критична

Тільки професійний переклад для: - Юридичні документи - контракти, довіреності, статути - Медична документація - діагнози, рецепти, виписки - Документи для державних інстанцій - від Ausländerbehörde до Standesamt - Фінансова звітність для аудиту - Все, що потребує завіреного перекладу

FAQ¶

Як перевірити якість перекладу, якщо я не знаю мову?¶

Порівняй довжину текстів (різниця більше 25% - підозріла), перевір всі числа, дати і власні імена, зроби зворотний переклад через інший сервіс і порівняй з оригіналом. Якщо можеш - попроси нативного спікера прочитати переклад. Ці методи не замінять професійну перевірку, але допоможуть виявити грубі помилки.

Скільки коштує незалежна перевірка якості перекладу?¶

Вичитка (пруфрідинг) коштує приблизно $0.03-0.08 за слово, повноцінне редагування - $0.05-0.12 за слово. Для 10-сторінкового документа це орієнтовно $50-150. Для важливих документів (контракти, медичні довідки, документи для суду) ця інвестиція окупається - помилка в перекладі може коштувати набагато дорожче.

Що таке BLEU score і чи можна на нього орієнтуватися?¶

BLEU - це метрика, яка рахує збіг слів між машинним і “еталонним” перекладом. Шкала від 0 до 100, вище 30 - прийнятно, вище 50 - добре. Але BLEU застаріла: вона не розуміє зміст, а лише порівнює слова. Сучасні метрики типу COMET точніші, бо враховують значення, а не тільки форму. Якщо виконавець хвалиться BLEU - це ок, але запитай також про COMET або MQM.

Які найнебезпечніші помилки машинного перекладу?¶

Найнебезпечніші - пропуски (коли машина “з’їдає” частину тексту, особливо заперечення “не”) і галюцинації (коли машина додає інформацію, якої не було в оригіналі). Обидва типи дуже важко помітити без детального порівняння з оригіналом, бо текст виглядає гладко і правильно. У юридичних документах пропущене “не” може змінити зміст на протилежний.

Чи можна довіряти зворотному перекладу як методу перевірки?¶

Зворотний переклад (back translation) - корисний інструмент, але не ідеальний. Ти перекладаєш результат назад на мову оригіналу іншим сервісом і порівнюєш. Великі розбіжності - чіткий сигнал проблеми. Але цей метод не зловить стилістичні помилки, невідповідний регістр мови або тонкі зміни змісту. Використовуй його як один з інструментів, не як єдиний.