Не можете виділити жодного слова в PDF із книжкою, яку треба перекласти? Перед вами не текстовий документ, а зображення сторінок. Спочатку потрібне OCR, потім перевірка розпізнаного тексту - і тільки після цього переклад.
Для книжки це не просто питання формату. OCR може сплутати літери, перемішати колонки, причепити примітку до основного тексту або переставити сторінки. Якщо відразу віддати такий текст на переклад, помилки підуть далі - у переклад, EPUB і звичайний текст. Internet Archive пояснює, що OCR не дає безпомилкового результату, а якість залежить від скану й налаштувань розпізнавання.
Що потрібно зробити перед перекладом сканованої книги¶
OCR, або оптичне розпізнавання символів, перетворює зображення літер на текст, який можна шукати, копіювати й редагувати. Але розпізнавач не виправляє книжку за тебе: він може неправильно прочитати навіть чітку літеру, а неякісний скан лише додає помилок.
Плануй не один клік на кнопку «розпізнати», а весь шлях від зображень до перевіреного перекладу:
- Перевірити права й склад матеріалу. З’ясуй, чи маєш право оцифровувати й перекладати книгу та використовувати її для потрібної мети. Доступ до перегляду ще не означає дозволу на переклад або публікацію.
- Перевірити файли й порядок сторінок. Звір зображення з фізичною або цифровою книгою. Не забудь про обкладинки, титульні й порожні сторінки та додатки.
- Вибрати мову та налаштування OCR. Мова розпізнавання визначає, які словники й моделі система використовує для читання символів. Якщо книга багатомовна, познач відповідні мови, а не покладайся на автоматичне визначення.
- Розпізнати пробну вибірку. Візьми різні сторінки: звичайний текст, примітки, таблиці, колонтитули, ілюстрації та незвичні шрифти.
- Оцінити якість і спланувати перевірку. Порівняй OCR зі сканами, запиши типові помилки й виріши, що можна перевірити вибірково, а що треба звірити повністю.
- Підготувати текст і структуру до перекладу. Познач розділи, примітки й підписи, збережи порядок сторінок і домовся, як передавати імена та терміни.
- Перекласти, відредагувати й перевірити макет. Звір переклад із джерелом, а потім порівняй результат із вихідними сторінками. Особливо уважно перевір місця, де структура впливає на зміст.
Internet Archive Help Center пише:
“OCR (Optical Character Recognition) is inexact. Sometimes it can be poor.”
«OCR, або оптичне розпізнавання символів, неточне. Іноді його якість може бути низькою».
Звідси простий висновок для планування: OCR зменшує обсяг ручного введення, але не прибирає потребу в редакторській перевірці. Заклади на цей етап окремий час, а не ховай його всередині бюджету на переклад.
Обсяг перевірки залежить від того, для чого потрібна книга. Для пошуку матеріалів може вистачити тексту з помітними помилками. Для видання, де важливі точні цитати, імена й примітки, звіряй ретельніше. У підготовці сканованого договору до точного перекладу є схожі проблеми з якістю файлу, але книжкова верстка додає свої типи сторінок і структури.
Який скан підходить для книжкового OCR¶
Роздільність впливає на те, скільки деталей бачить розпізнавач, але сама по собі не гарантує якісного OCR. Internet Archive радить завантажувати книжкові зображення з роздільністю щонайменше 300 dpi, а власні книжкові скани створює з роздільністю 600 dpi. Це різні сценарії, а не універсальна норма для кожної книги (пояснення Internet Archive).
Для оцифрування культурної спадщини настанови FADGI третього видання, опубліковані в травні 2023 року, визначають для книжок у твердій палітурці рівні від щонайменше 190 ppi для однозіркового рівня до щонайменше 396 ppi для чотиризіркового (FADGI, третє видання). Обирай роздільність під завдання: цифровий майстер, пошуковий текст і підготовка до друку мають різні вимоги.
Не перенось вимоги Національного архіву США на будь-яку приватну книгу. Настанова, опублікована 7 червня 2023 року, вимагає щонайменше 300 пікселів на дюйм для сучасних текстових паперових документів у визначеній категорії федеральних постійних документів. Для фотографічних відбитків і паперових документів із дрібними деталями вказано щонайменше 400 ppi (National Archives, 7 червня 2023 року). Це правило для конкретної категорії федеральних матеріалів, а не вимога до всіх книжкових сканів.
| Параметр | Що перевірити | Чому це впливає на OCR |
|---|---|---|
| Роздільність | Чи добре видно дрібний шрифт, надрядкові знаки й примітки | За низької деталізації схожі символи важче розрізнити |
| Різкість | Чи не розмиті літери по краях і біля корінця | Розмиті знаки можуть зливатися або втрачати частини |
| Орієнтація | Чи рівно розташовані рядки та чи відповідають напрямку письма | Поворот або перекіс може збити порядок читання |
| Чистота й контраст | Чи немає плям, тіней, просвічування та зайвих позначок | Фон може здаватися символом або закрити частину літери |
| Колір | Чи збережено важливі для читання кольорові відмінності | Колір може передавати структуру, позначення або зміст |
| Формат і послідовність | Чи збережено якість зображень і правильний порядок | Неправильне сортування дасть переплутаний текст |
Internet Archive приймає для завантаження книжкових зображень JP2, JPG/JPEG, TIF/TIFF, GIF, BMP і PNG. Його настанови радять завантажувати чіткі зображення, впорядковувати сторінки послідовно й розміщувати рядки горизонтально, якщо для мови не потрібна вертикальна орієнтація (вимоги до зображень Internet Archive).
Для книжок у твердій палітурці FADGI наводить TIFF, JPEG 2000 і PDF/A як формати майстер-файлів. Вибір залежить від завдання й потрібного рівня якості, тож зручний для перегляду PDF не обов’язково підходить замість архівного майстра (FADGI).
Не тестуй OCR лише на сторінці з великим, чистим шрифтом. Візьми сторінку біля корінця, сторінку з примітками, таблицю, колонтитул і розворот з ілюстрацією. Інакше ти перевіриш розпізнавач на найпростішому матеріалі й пропустиш складні сторінки.
Як перевірити OCR до запуску всього проєкту¶
Перевіряй вибірку не лише заради окремих помилок. OCR може раз у раз плутати ті самі символи, пропускати нижні рядки або читати дві колонки як одну. Такі збої вплинуть на всю книгу, тому вибірка має включати різні типи сторінок.
Ось робочий протокол для редактора чи менеджера проєкту:
- Вибери сторінки з основним текстом, примітками, таблицями, заголовками, ілюстраціями й незвичними літерами.
- Звір кожен результат OCR із зображенням. Не обмежуйся читанням розпізнаного тексту.
- Познач підміни символів, пропуски, повтори, неправильні переноси й змішування колонок.
- Перевір номери сторінок, посилання на примітки, заголовки розділів і порядок читання.
- Запиши, що потрібно звірити повністю, і признач відповідального редактора.
- Якщо потрібно, зміни скан або налаштування й повтори тест до обробки всієї книги.
Щоб оцінити структуру, не копіюй текст просто в редактор і не вважай перевірку завершеною. Документація Internet Archive щодо OCR описує hOCR - формат HTML, який зберігає текст сторінки, координати блоків і впевненість розпізнавання на рівні слів. Файл chOCR може містити дані на рівні символів.
Координати потрібні, бо звичайний TXT не показує, де саме стояв текст на сторінці. Суцільний текст може приховати, що виноска стала основним абзацом, а підпис до ілюстрації переїхав на сусідню сторінку. hOCR допомагає зіставити текст із його місцем на зображенні, але не виправляє помилок сам.
Не сприймай оцінку впевненості як остаточний вердикт. Низька впевненість підказує, що місце варто перевірити; висока не доводить, що система правильно прочитала зміст. Особливо уважно звіряй власні назви, дати, числа, цитати й бібліографічні посилання: одна хибна літера в імені або пропущений знак у числі можуть змінити зміст.
Стаття про переклад сканованих документів за допомогою OCR описує загальні етапи розпізнавання PDF і фотографій. У книжковому проєкті додай до них перевірку довгої послідовності сторінок і повторюваних елементів - колонтитулів та приміток.
Stanford Libraries зазначає, що OCR у доступній дослідницькій колекції книжок, відсканованих Google, не виправляли:
“The data consists of uncorrected OCR text”
«Дані складаються з невиправленого тексту OCR».
Це приклад для конкретної дослідницької колекції, а не для всіх цифрових книжок. Та позначка «OCR» сама по собі не означає, що хтось звірив текст із оригіналом.
Які частини книги найчастіше створюють труднощі¶
Суцільний основний текст часто здається простішим, ніж є насправді. На одній сторінці можуть бути різні гарнітури, курсив, дрібні примітки, застаріле написання й слова, перенесені між рядками. Internet Archive називає серед чинників, які впливають на OCR, шрифт, колір і чистоту сторінки, мову та орієнтацію тексту (пояснення чинників якості).
| Тип сторінки або елемента | Типовий ризик | Що звірити перед перекладом |
|---|---|---|
| Основний текст | Підміна схожих літер і неправильні переноси | Слова на межі рядків, імена, числа й терміни |
| Колонтитули | OCR додає їх до абзацу або пропускає | Повторювані заголовки й номери сторінок |
| Примітки | Примітка відривається від знака в основному тексті | Номер примітки, її текст і місце посилання |
| Таблиці | Рядки й колонки зчитуються в хибному порядку | Заголовки колонок, одиниці й відповідність клітинок |
| Ілюстрації | Підпис потрапляє до чужого абзацу або зникає | Підпис, номер і зв’язок із зображенням |
| Сторінки з кількома колонками | Рядки з різних колонок чергуються | Послідовність читання в кожній колонці |
| Незвичне письмо або кілька мов | Система неправильно визначає мову й символи | Налаштування для кожного фрагмента та його контекст |
| Печатки, рукописні вставки | Символи не вдається надійно прочитати автоматично | Чи можна підтвердити запис за оригіналом |
Налаштуй OCR на мову сторінки, а не на мову назви книги чи передмови. Internet Archive пояснює, що вибрана мова впливає на розпізнавання, а його документація описує використання мовних метаданих для вибору мов OCR. Якщо мову не вказано або вона невідома, система може перейти до автоматичного визначення (документація OCR Internet Archive).
У багатомовній книзі титульна сторінка, передмова й основний текст можуть бути різними мовами. Розпізнавання всієї книги однією мовою здатне спотворити фрагменти іншою. Познач мови окремих частин і перевір, як обраний інструмент перемикається між ними.
Не чекай, що таблиця в OCR автоматично стане таблицею в текстовому файлі. Якщо розпізнавач видав рядки без меж клітинок, перекладач може не зрозуміти, який заголовок стосується якого значення. Збережи зображення поруч із розпізнаним текстом і познач таблиці окремо ще до перекладу.
Не вгадуй зміст рукописних приміток і пошкоджених місць. Якщо запис не вдається впевнено прочитати, познач його як нерозбірливий або попроси відповідального за джерело надати чіткіший примірник. Виправлення без підтвердження лише перетворить невизначеність OCR на непомітну помилку перекладу.
Вибір робочого процесу: бюро, фахівець або онлайн-інструмент¶
Обирай процес з огляду на те, чи готовий скан, наскільки складна книжкова структура й хто відповідатиме за звіряння. Не всі виконавці беруть на себе ті самі етапи: одні оцифровують і редагують, інші перекладають лише готовий текст.
| Варіант | Коли підходить | Що потрібно узгодити | Обмеження |
|---|---|---|---|
| Перекладацьке бюро | Коли потрібні OCR, редактура, контроль макета й координація команди | Хто виправляє OCR, як звіряють складні сторінки й що входить у фінальну перевірку | Узгодь обсяг робіт і відповідальність за якість вихідного скану |
| Окремий перекладач або редактор | Коли команда вже має очищений OCR і чітке технічне завдання | Чи звіряє фахівець текст зі сканами, чи лише перекладає наданий файл | Без окремої домовленості перевірка скану може не входити в роботу |
| Онлайн-інструмент для документів | Коли потрібна робоча чернетка й можливість порівнювати переклад із джерелом | Які формати приймають, як обробляють скани, хто редагує результат і які є обмеження | Автоматична обробка не замінює фахової перевірки поганого скану |
Попроси бюро описати весь маршрут файлу: хто готує OCR, як зберігають окремі елементи, як позначають нерозбірливі місця й у якому форматі повертають переклад. Запитання «чи перекладаєте ви книги?» не покаже, чи входять у роботу оцифрування та перевірка сторінок.
Фрилансер може бути зручним варіантом, якщо команда сама контролює сканування й передає готовий текст. До початку роботи уточни, чи звірятиме перекладач спірні місця з оригінальними зображеннями, чи отримає редактор окремий файл OCR і хто вирішуватиме, як позначати пропуски та пошкоджені фрагменти.
В онлайн-обробці розрізняй переклад суцільного тексту й роботу з документом, структуру якого треба зберегти. У ChatsControl сканований PDF або фото спершу обробляють як зображення: система готує редаговану копію Word зі структурою сторінки, а потім перекладає її. Для чернетки такий процес може бути зручним, але рукописні фрагменти й сильно пошкоджені скани все одно треба перевіряти за оригіналом.
Після машинного перекладу потрібно вичитати текст і зіставити його з джерелом. Двомовний перегляд ChatsControl показує оригінал і переклад поруч, тож редактору не треба постійно перемикатися між файлами. Але ця функція не вирішує, як тлумачити неоднозначний книжковий фрагмент: це лишається роботою редактора.
Якщо команда працює в CAT-середовищі, спершу підготуй OCR і структуру, а потім плануй імпорт. Інструкції залежать від програми: дивись переклад сканованого PDF у Trados Studio або переклад сканованого PDF у memoQ. Сам імпорт не виправить помилки розпізнавання, які вже потрапили в текст.
Як оцінити пропозицію й уникнути прихованої переробки¶
Не порівнюй пропозиції лише за кількістю сторінок або слів. Сторінка зі скану може містити мало тексту, але забрати час на ручну перевірку приміток, таблиць чи складного шрифту. Якщо в оцінці немає окремого пункту про OCR і звіряння, спитай, хто за це відповідає.
Чек-лист для запиту пропозиції
- Які вихідні файли приймає виконавець?
- Хто перевіряє порядок сторінок і наявність усіх частин книги?
- Яку мову OCR обирають для кожного фрагмента?
- Як оцінюють якість тестової вибірки?
- Чи зберігають таблиці, примітки, колонтитули й підписи окремими структурами?
- Хто звіряє сумнівні місця з оригіналом?
- Як команда працює з рукописом, пошкодженнями й нерозбірливими фрагментами?
- У якому форматі повертають OCR, переклад і фінальну верстку?
- Чи входять у роботу редакторська перевірка перекладу й порівняння з джерелом?
- Які права на оцифрування, переклад і подальше використання має замовник?
Сторінки бувають різними. Десять сторінок чистого тексту й десять сторінок із колонками, таблицями та примітками потребують різного обсягу роботи. Попроси оцінити зразок зі складними елементами, а не лише титульну сторінку чи кілька простих абзаців.
Якщо команда сама перевіряє машинний переклад, ChatsControl має окремий автоматичний контроль чисел, імен, термінології та пропусків. Він допомагає знаходити певні розбіжності, але не замінює звіряння OCR зі сканом і редакторського рішення щодо змісту.
Підводні камені: права, формати й помилки, що переходять далі¶
Помилка OCR не зникає після експорту. Якщо система підмінила літеру в імені, хибний варіант може перейти в TXT, Word, EPUB і переклад. Internet Archive прямо попереджає, що помилки OCR потрапляють у похідні формати (поради щодо книжкового OCR).
Internet Archive радить завантажувати книжкові зображення, лише якщо користувач вважає, що має на це відповідні права (настанови для завантаження). Для комерційного проєкту окремо перевір дозволи на переклад, розповсюдження й публікацію в потрібних територіях. Перегляд скану або наявність OCR-файлу самі по собі не дають права використовувати матеріал далі.
Google Books дозволяє копіювати чи перекладати виділений текст лише тоді, коли така функція доступна; видавець може заборонити копіювання або переклад конкретної книги (довідка Google Books). Google також пояснює, що книга може бути доступна не повністю через умови правовласника або тому, що її відсканували не цілком. Можливість перекласти вибраний уривок не означає дозволу перекласти всю книгу.
У дослідницьких колекцій теж бувають окремі правила доступу. Stanford Libraries, наприклад, зазначає, що учасники команди для роботи з конкретною колекцією сканів Google підписують угоду про використання даних, а доступ мають відповідні учасники Stanford (умови колекції Stanford). Не поширюй правила однієї колекції на всі цифрові книжки - перевіряй умови джерела, з якого взято матеріал.
Не приймай PDF із текстовим шаром за доказ правильного OCR. Internet Archive створює похідні PDF, де розпізнаний текст прихований під зображенням сторінки, щоб його можна було шукати й виділяти (опис OCR і hOCR). Такий шар означає, що текст доступний для пошуку, але не підтверджує правильність кожного слова, примітки чи межі колонки.
“All images are crisp.”
«Усі зображення чіткі».
Для команди «чіткі» означає більше, ніж «файл відкривається»: символи мають бути розбірливими, а сторінки - правильно зорієнтованими й упорядкованими. Якщо скан нечіткий, перезніми його або заплануй ручну перевірку. Не виправляй сумнівний текст навмання.
FAQ¶
Як перекласти скановану книгу, якщо в PDF не можна виділити текст?¶
Спершу виконай OCR, щоб перетворити зображення сторінок на машинозчитуваний текст. Перевір результат розпізнавання, виправ критичні помилки й лише тоді передавай текст на переклад.
Яка роздільність скану потрібна для OCR книжки?¶
Для завантаження книжкових зображень Internet Archive радить щонайменше 300 dpi, але це не універсальний поріг для кожної книги й завдання. Настанови FADGI для книжок у твердій палітурці описують рівні від щонайменше 190 ppi до щонайменше 396 ppi залежно від цілі оцифрування.
Чи зберігає OCR примітки, таблиці й макет сторінки?¶
OCR розпізнає текст, але порядок читання й координати блоків потрібно перевіряти окремо. hOCR зберігає текст і координати, а звичайний TXT не показує, де саме текст стояв на сторінці.
Як перевірити OCR перед перекладом усієї книги?¶
Розпізнай репрезентативну вибірку: основний текст, колонтитули, примітки, таблиці, ілюстрації та сторінки з незвичним письмом. За результатом визнач обсяг людської перевірки до запуску всього проєкту.
Чи може OCR правильно розпізнати рукописні примітки?¶
Рукопис і ненадійно розпізнані фрагменти потрібно окремо звіряти з оригіналом. Не вважай автоматично розпізнаний текст підтвердженим, якщо важливі дати, імена чи зміст приміток.
Чи можна перекладати книгу з Google Books?¶
Google Books дозволяє копіювати або перекладати вибраний текст, якщо ця функція доступна для конкретної книги. Окремо перевір права на переклад, розповсюдження й публікацію.
Чи можна одразу перекладати не перевірений OCR?¶
Ні, якщо потрібен контрольований результат. Помилки розпізнавання можуть перейти в переклад, TXT або EPUB, тож спочатку перевір текст і порядок сторінок.