Перевод сканированной книги: OCR и контроль качества

Книга есть, текста нет: что именно предстоит перевести¶

Книга из отсканированных страниц может выглядеть как обычный PDF, но для компьютера такой файл часто остаётся набором изображений. Нельзя выделить предложение, найти термин поиском или посчитать слова обычным текстовым анализатором. Перед переводом команде нужно получить машинно-читаемый текст и проверить его по оригинальным страницам.

OCR, или оптическое распознавание символов, преобразует изображение букв в текст. Распознавание не равно вычитке: программа может принять букву за цифру, пропустить знак, соединить соседние строки или поставить сноску в середину абзаца. Internet Archive прямо предупреждает: «OCR (Optical Character Recognition) is inexact. Sometimes it can be poor» - распознавание неточно и иногда даёт плохой результат (Internet Archive). Для переводческого проекта это не мелкая техническая оговорка. Ошибка в исходном тексте может перейти в перевод, а затем попасть в EPUB, электронную книгу или обычный текстовый файл.

Сначала определите, какой результат нужен: только перевод текста, перевод с сохранением структуры, редактируемый файл для верстальщика или подготовленный макет для публикации. У этих задач разные требования к OCR. Для перевода главы редактору может быть достаточно чистого текста с пометками сносок. Для иллюстрированного издания понадобится ещё и контроль соответствия текстовых блоков страницам.

Для бюро или издательской команды полезно разделить работу на три решения:

1. Оцифровка: достаточно ли хороши изображения для распознавания?
2. Подготовка текста: какие ошибки OCR исправляют до перевода?
3. Перевод и контроль: как сверять перевод с изображением и не терять структуру книги?

Смешение этих этапов создаёт ложное ощущение экономии. Например, команда сразу загружает весь PDF в переводчик, а после выясняет, что сноски перемешались с основным текстом, две страницы поменялись местами, а часть старого шрифта программа прочитала неверно. Исправлять такие ошибки после перевода сложнее, потому что редактору приходится разбираться, где источник испорчен распознаванием, а где переводчик изменил смысл.

Типичная ситуация: издатель получает PDF старой книги без текстового слоя и хочет оценить объём работ. До OCR считать слова нечего. После распознавания уже можно построить оценку, но только после того, как проверены страницы с таблицами, сносками, колонтитулами и нестандартной типографикой.

Для похожей задачи с отдельным документом, а не книгой, пригодится разбор перевода PDF-скана без текстового слоя. Книжный проект отличается объёмом и повторяемостью элементов: одна и та же ошибка распознавания может проявляться на десятках страниц.

Что делает OCR и почему качество меняется от страницы к странице¶

Скан становится текстом не потому, что PDF «прочитал» буквы сам. Алгоритм анализирует пиксели изображения, находит предполагаемые строки и символы, затем собирает их в последовательность. Читатель видит страницу как цельную композицию, а OCR должен отдельно решить, где текст, где заголовок, где номер страницы и где начинается сноска.

На результат влияют шрифт, цвет и чистота страницы, язык и ориентация текста. Internet Archive перечисляет эти факторы как причины плохого или бессвязного распознавания (Internet Archive). Поэтому качество нельзя надёжно оценить по одной удачной странице. Чистая страница с крупным современным шрифтом ничего не говорит о том, как распознаются мелкие примечания, страницы у корешка или бледная печать.

Распознавание также зависит от выбранного языка. Система сопоставляет форму символов с языковыми моделями и словарными ожиданиями. Неправильная настройка способна превратить редкие слова в похожие на знакомые слова другого языка. Если книга двуязычная, содержит цитаты на иностранных языках или использует старую орфографию, настройка только по языку основного текста может оказаться недостаточной. В документации Internet Archive сказано, что языки OCR выбираются на основании языковых метаданных книги; при неизвестном или отсутствующем языке может запускаться автоматическое определение (документация Internet Archive).

При оценке сканов не превращайте конкретное разрешение в магическое число. Internet Archive сообщает, что сканирует книги с разрешением 600 dpi, а для загрузки книжных изображений рекомендует не менее 300 dpi. Эти значения относятся к разным сценариям и не задают универсальный порог для любой книги (страница Internet Archive о книгах, руководство по загрузке изображений). Для сохранения культурного наследия руководство FADGI третьего издания, опубликованное в мае 2023 года, описывает уровни съёмки переплётных томов от не менее 190 ppi для уровня 1 звезда до не менее 396 ppi для уровня 4 звезды. Уровень выбирают под задачу сохранения и использования, а не по универсальному правилу «чем больше, тем лучше» (FADGI, третье издание, май 2023 года).

Для современных текстовых бумажных документов, подпадающих под требования оцифровки постоянных федеральных записей США, Национальный архив США указывает минимум 300 пикселей на дюйм. Для фотопечатей и документов с мелкими деталями в той же публикации указан минимум 400 ppi; цветовой режим RGB нужен, если цвет или иные свойства важны для интерпретации оригинала. Эти требования относятся к описанным федеральным материалам, а не ко всем частным книжным проектам (Национальный архив США, публикация от 7 июня 2023 года).

Формат файла тоже влияет на проверку. Для изображений книжных страниц Internet Archive принимает JP2, JPG/JPEG, TIF/TIFF, GIF, BMP и PNG и советует загружать чёткие изображения в последовательном порядке (Internet Archive). Рекомендации FADGI для мастер-файлов переплётных томов перечисляют TIFF, JPEG 2000 и PDF/A, но конкретный подход зависит от проекта и требуемого уровня съёмки (FADGI, третье издание, май 2023 года).

Практический вывод простой: перед запуском основного объёма проверьте качество страницы, а не только расширение файла. Если цифры, акценты, диакритические знаки или тонкие линии важны для смысла, сохраняйте цвет и детализацию. Чёрно-белая копия может казаться читабельной, но терять признаки, которые помогают различать символы.

Какие файлы и структуры подготовить до распознавания¶

Подготовка начинается с порядка страниц. Названия файлов вроде page_1, page_2 и page_10 иногда сортируются компьютером не так, как ожидает редактор. Если номера страниц не зафиксированы, проверяющий может не заметить пропуск или перестановку, особенно в длинной книге. Internet Archive советует загружать страницы в последовательном порядке, включать все страницы, в том числе обложки, и проверять, не пропущены ли листы (Internet Archive).

Перед OCR подготовьте манифест, даже если проект кажется небольшим. В таблице укажите имя изображения, номер страницы в файле, напечатанный номер страницы, тип страницы и особые примечания. Напечатанный номер и порядковый номер файла не всегда совпадают: титульный лист может не иметь номера, а вставка с иллюстрациями может нарушать обычную последовательность. Такая таблица помогает отличить ошибку распознавания от особенностей оригинала.

Подготовьте также короткое описание целевого результата. «Перевести книгу» может означать разные вещи: текст для редактора, двуязычный файл для проверки, рукопись с сохранёнными примечаниями или новый макет, визуально близкий к печатному изданию. Коммерческая оценка будет точнее, если исполнитель заранее знает, нужны ли изображения, таблицы и координаты элементов либо достаточно структурированного текста.

Для сверки полезны не только TXT и DOCX. Документация Internet Archive описывает hOCR как XHTML-формат, который можно просматривать в браузере; он содержит текст страницы, ограничивающие прямоугольники и уверенность распознавания на уровне слов. Для отдельных результатов может быть доступен chOCR с детализацией до символов. Производные PDF могут включать скрытый текстовый слой, по которому текст выделяется и ищется, хотя на экране остаётся изображение страницы (документация Internet Archive).

Разница между обычным текстом и структурированным результатом важна для контроля. TXT удобен для редактирования, но сам по себе не показывает, где на оригинальной странице стояло слово. Координаты в hOCR помогают сопоставить распознанный блок с изображением. Если редактор видит только сплошной текст, он может не заметить, что строка сноски попала в основной абзац или что подпись к иллюстрации оказалась не в том месте.

Проверьте, что выбор языка задан явно. Internet Archive просит выбрать язык книги при загрузке, поскольку этот выбор влияет на OCR (Internet Archive). Если система или подрядчик не позволяют указать язык, уточните, как распознаются многоязычные страницы и можно ли исправить язык для отдельных фрагментов.

Как выбрать исполнителя: бюро, фрилансер или онлайн-инструмент¶

Для книжного проекта сравнивайте не только цену за страницу. Проверьте, кто отвечает за исходное распознавание, кто сверяет текст с изображением, как фиксируются пропуски и что именно входит в сдачу. У подрядчика, который предлагает только перевод, может не быть отдельного этапа OCR-корректуры. Тогда вычитка исходника незаметно переедет на редактора перевода или заказчика.

Бюро удобно, если заказчику нужен один контакт для сложного проекта. Но уточняйте, оплачивается ли проверка OCR отдельно от перевода. Фраза «распознавание включено» не отвечает на главный вопрос: кто сверяет распознанные слова с изображением и насколько глубоко.

Фрилансер может хорошо работать с конкретной темой или языковой парой. Для книги важно согласовать формат промежуточного результата: файл с привязкой к страницам, список сомнительных чтений, правила для колонтитулов и примечаний. Если договорённости остаются только в переписке, разные главы легко обрабатываются по-разному.

Онлайн-инструмент полезен как один из этапов, а не как автоматическая замена редактору. В ChatsControl загружают PDF-скан или фотографию; система сначала читает изображение, затем собирает редактируемый Word с текстом и элементами страницы, после чего переводит документ. Для проверки доступны исходный и переведённый тексты рядом, а встроенные проверки отмечают найденные несоответствия. Сильная сторона такого потока - возможность работать с документом, а не копировать сплошной текст вручную; ограничение - рукописные и сильно повреждённые сканы распознаются ненадёжно. Для книги с большим количеством сложных иллюстраций, старой типографикой или критичными сносками всё равно нужен человеческий контроль.

Для проекта с однотипными главами гибридный вариант часто проще оценивать: один специалист готовит образец OCR, редактор подтверждает правила, затем команда выполняет основной объём и проверяет отклонения. Не принимайте слово «автоматически» за критерий качества. Запросите образец результата именно на страницах с проблемной типографикой, а не только на чистом основном тексте.

Google Books не следует считать универсальным источником готового текста для полного перевода. Google сообщает, что копирование или перевод выделенного текста доступны только там, где такую функцию разрешили для конкретной книги. Также книга может быть доступна не целиком, потому что правообладатель не согласился показывать весь текст или книга отсканирована не полностью (справка Google Books). Условия доступа к отдельной коллекции исследовательских сканов Стэнфордского университета также ограничивают круг пользователей: доступ получают подходящие категории аффилированных лиц, а участникам команды нужно подписать соглашение об использовании данных (Stanford Libraries).

Сравните варианты по выходным файлам, проверке и рискам¶

Сравнение становится полезным, когда команда обсуждает конкретные артефакты: изображения, текст, разметку, журнал ошибок и перевод. Само обещание «сохранить форматирование» слишком расплывчато. Уточните, сохраняются ли сноски как отдельные элементы, можно ли проверить положение абзаца на странице и кто исправляет страницы с низким качеством.

Для хранения результата заранее согласуйте два слоя: визуальный и текстовый. Визуальный слой помогает сравнивать страницу с оригиналом. Текстовый слой нужен для редактирования и перевода. PDF со скрытым текстовым слоем может сохранить исходное изображение и дать возможность искать слова, но он не всегда заменяет редактируемый файл с логичной структурой. В документации Internet Archive описан такой PDF как производный файл с текстом OCR, который можно выделять и искать (документация Internet Archive).

Для перевода важна не только буквенная точность, но и правильная связь между элементами. Сноска должна оставаться с тем предложением, к которому относится. Заголовок не должен превратиться в продолжение абзаца. Табличные строки нельзя читать как случайную последовательность слов. Если у книги две колонки, нужно заранее определить порядок чтения. Простое извлечение текста может сохранить все слова, но разрушить их отношения.

При расчёте бюджета запросите раздельные позиции: подготовка изображений, OCR, проверка OCR, перевод, редактура перевода, вёрстка и финальная сверка. Такой список помогает увидеть, за что именно платит заказчик, и сравнить предложения. Если исполнитель оценивает только количество страниц, спросите, как он учитывает страницы с таблицами, формулами, рукописными пометками или сложными сносками.

Права на книгу - отдельная часть подготовки, а не техническая формальность. Internet Archive просит загружать книжные изображения только при наличии соответствующих прав. Для коммерческого проекта проверьте разрешения на перевод, распространение и публикацию на нужных территориях (Internet Archive). Наличие сканов в открытом каталоге или возможность выделить текст в интерфейсе не доказывает, что заказчик вправе переводить и публиковать весь материал.

Пошаговый процесс: от образца страниц до сдачи перевода¶

Надёжный процесс начинается не с массового OCR, а с согласования образца. Для коммерческого проекта это снижает риск того, что команда обработает всю книгу по неверным настройкам и только в конце обнаружит системную ошибку.

1. Соберите исходные файлы. Получите изображения или PDF, уточните, есть ли в PDF текстовый слой, и составьте список файлов. Не удаляйте оригинальные сканы после обработки: именно по ним редактор проверяет спорные места.
2. Сверьте полноту и порядок. Сопоставьте список файлов с последовательностью книги. Отметьте обложки, пустые страницы, вклейки и приложения. Проверьте, что в наборе нет случайных дублей и пропусков.
3. Опишите особенности страниц. Отдельно отметьте языки, колонки, сноски, таблицы, иллюстрации, старые шрифты, печати и рукописные элементы. Такая карта помогает подготовить не случайную, а представительную выборку.
4. Подготовьте выборку для теста. Включите разные типы страниц: чистый основной текст, страницу с колонтитулом, таблицу, сноски, иллюстрацию, мелкий шрифт и участки с плохой читаемостью. Выборка должна проверять слабые места проекта.
5. Выполните OCR и сравните с оригиналом. Ищите пропущенные слова, похожие символы, переставленные строки, ошибки в цифрах и сбитые сноски. Не ограничивайтесь чтением текста без изображения.
6. Зафиксируйте правила исправления. Решите, что делать с неразборчивым текстом, старой орфографией, колонтитулами и нумерацией. Сомнение лучше пометить, чем угадывать исходное чтение.
7. Переведите проверенный материал. Сохраните связи между заголовками, абзацами, таблицами и примечаниями. Для повторяющихся терминов подготовьте общий список решений.
8. Проведите финальную сверку. Сопоставьте перевод с проверенным источником, проверьте порядок страниц, пропуски, имена, числа, сноски и выходной формат. Отдельно подтвердите, что заказчику передан именно согласованный набор файлов.

Рекомендация начать с представительной выборки - не формальное требование OCR-системы, а практический способ выявить вариативность до массовой обработки. Такая проверка опирается на перечисленные Internet Archive факторы качества и на то, что Стэнфорд прямо называет OCR в своей коллекции неисправленным (Internet Archive, Stanford Libraries).

Stanford University Libraries описывает материалы своей коллекции Google-сканов словами: «The data consists of uncorrected OCR text» (Stanford Libraries).

Фраза означает, что наличие цифрового текста ещё не говорит о его проверке. Для переводчика неисправленный OCR - исходный материал с неизвестным числом ошибок, а не готовая рукопись. Если исполнитель предлагает перевести такой текст без выборочной сверки, попросите объяснить, кто отвечает за ошибки, которые уже присутствуют в источнике.

В ChatsControl скан проходит через распознавание, затем система собирает редактируемый Word с расположением текстовых блоков и элементов страницы. Отдельная проверка сравнивает собранную копию со страницей построчно и возвращает обнаруженные расхождения на исправление; качество скана оценивается как хорошее, среднее или низкое, а оставшиеся найденные пропуски показываются читателю. Такой подход помогает заметить проблемы до перевода, но не превращает рукописные или сильно повреждённые страницы в надёжный текст. Для профессионального постредактирования можно открыть исходный и перевод рядом и проверять строки по контексту.

Где возникают ошибки и как сделать контроль предметным¶

Наибольший риск не в одной плохо прочитанной букве, а в том, что незаметная ошибка влияет на смысл. Название главы, имя, год, единица измерения или отрицание могут быть распознаны неверно. Если редактор читает только готовый перевод, источник ошибки останется невидимым: команда не поймёт, перевёл ли специалист неверно или OCR уже исказил оригинал.

Проверяйте не абстрактную «точность OCR», а конкретные типы расхождений:

• пропущенные или добавленные строки;
• похожие буквы и цифры;
• дефисы, тире, кавычки и знаки препинания;
• имена, топонимы и термины;
• номера страниц и заголовки;
• сноски, которые переместились в основной текст;
• строки таблиц, распознанные не в том порядке;
• подписи и текст внутри иллюстраций;
• смену языка внутри страницы;
• поворот или зеркальное расположение текста.

Каждый тип требует своего способа сверки. Номера и даты удобно сравнивать отдельным проходом; сноски нужно связывать с маркерами в тексте; таблицы проверять строка за строкой; иллюстрации сопоставлять с подписями. Если проверяющий просто читает страницу от начала до конца, его внимание чаще остаётся на основном тексте, а короткие элементы теряются.

Структурированный OCR помогает понять, где на странице находится распознанное слово. Internet Archive указывает, что hOCR содержит координаты и уверенность распознавания на уровне слов, тогда как обычные текстовые производные не показывают расположение текста на странице (документация Internet Archive). Координаты не исправляют ошибку автоматически, но дают проверяющему адрес: он может перейти от подозрительного слова к соответствующему фрагменту изображения.

Не принимайте низкую уверенность распознавания за доказательство того, что слово неверно. Уверенность - подсказка для приоритизации, а не редакторское решение. И наоборот, высокая уверенность не гарантирует правильное распознавание редкого имени или необычного термина. Команда должна сверять смысловые и структурные места независимо от оценки программы.

Подводный камень: машинный текст может выглядеть гладко именно потому, что распознаватель подставил знакомое слово вместо незнакомого. Читатель не заметит ошибки, если предложение грамматически нормально. Поэтому перечень имён, терминов и именных форм подготовьте до перевода, а сомнительные чтения отмечайте явно.

Встроенный контроль перевода полезен, когда проверяющий хочет сопоставлять исходный и целевой текст, а не переключаться между разрозненными файлами. В ChatsControl двуязычный просмотр показывает исходник и перевод рядом, а отдельная проверка может отмечать числа, имена, термины и пропуски. Такой механизм поддерживает постредактирование, но не решает, какое слово было напечатано в плохо читаемом оригинале. Для этого нужен просмотр скана.

Internet Archive отмечает: «All images are crisp» (руководство по загрузке книжных изображений).

Эта фраза из рекомендаций к загрузке относится к ожидаемому качеству исходных изображений, а не к гарантии безошибочного OCR. Чёткий скан упрощает распознавание, но не отменяет проверки языка, порядка страниц и элементов макета. Если изображения размыты или перекошены, исправлять проблему нужно на уровне исходных материалов, а не только в переводе.

Перед сдачей попросите исполнителя обозначить нерешённые места. Молчаливое исправление по догадке опаснее маркировки вроде «неразборчиво»: редактор может принять красивую, но ошибочную формулировку за факт оригинала. Журнал сомнений помогает заказчику принять решение, а также отделяет реальные дефекты источника от ошибок обработки.

FAQ¶

Как перевести сканированную книгу без выделяемого текста?¶

Сначала распознайте изображения страниц с помощью OCR, затем сверьте результат с оригиналом и исправьте критичные ошибки. После этой подготовки текст можно переводить обычным редакторским или машинным процессом.

Какое разрешение скана нужно для OCR книги?¶

Универсального значения для всех книг нет. Internet Archive рекомендует минимум 300 dpi для загружаемых изображений книг, а собственные сканы книг выполняет с разрешением 600 dpi; эти рекомендации относятся к разным контекстам (Internet Archive, Internet Archive о качестве OCR).

Может ли OCR сохранить сноски, таблицы и порядок страниц?¶

Распознавание может извлечь текст, но не гарантирует корректного порядка и структуры. Проверяйте сноски, таблицы, колонки и последовательность страниц отдельно; hOCR сохраняет координаты текста, что помогает сопоставлять его с изображением (документация Internet Archive).

Как проверить OCR перед переводом всей книги?¶

Подготовьте представительную выборку с основным текстом, заголовками, сносками, таблицами, иллюстрациями и необычной типографикой. Сравните каждый тип страницы с исходным изображением, а затем согласуйте правила для сомнительных мест до обработки всего объёма.

Можно ли использовать текст Google Books для перевода всей книги?¶

Функция копирования или перевода выделенного текста доступна только для тех книг, где её предоставили. Google также сообщает, что книга может быть показана не целиком из-за ограничений правообладателя или неполного сканирования; наличие этой функции не означает общего разрешения на перевод и публикацию всей книги (Google Books).

Кто отвечает за ошибки распознавания?¶

Ответственность нужно согласовать до начала проекта: кто проверяет OCR по изображениям, кто отмечает неразборчивые места и кто утверждает исправления. OCR выдаёт машинный результат, а не редакторски подтверждённую копию оригинала.

Какой формат OCR лучше передать переводчику?¶

Для простого редактирования подойдёт текстовый файл или редактируемый документ, но для сверки расположения полезен формат с координатами вроде hOCR. В нём сохраняются текстовые блоки и их положение; обычный текст сам по себе не показывает, где слова находились на исходной странице (документация Internet Archive).

Нужно ли проверять права на сканированную книгу?¶

Да. Internet Archive советует загружать изображения книги только при наличии соответствующих прав; для бизнеса отдельно проверьте разрешения на перевод, распространение и публикацию в нужных территориях (Internet Archive).

Источники¶

• Internet Archive: Books and Texts - Tips & Troubleshooting
• Internet Archive: How to upload scanned images to make a book
• Internet Archive: OCR with Tesseract and hOCR
• Национальный архив США: требования к оцифровке бумаги и фотографий
• FADGI: Technical Guidelines for Digitizing Cultural Heritage Materials, Third Edition
• Stanford Libraries: Google-сканы книг и OCR-текст
• Справка Google Books