Что такое поточное сканирование
Поточное сканирование документов
Поточное сканирование документов, сканирование анкет — один из способов быстрой обработки результатов анкетирования широкого круга респондентов.
Содержание
Этапы процесса
Сканирование бумажных документов
Эффективность данного этапа определяется в большей степени качеством используемого оборудования.
Современные поточные сканеры оснащены системой автоматической подачи документов, что позволяет сократить ручной труд и достигнуть скорости оцифровки до 200 изображений в минуту на один сканер.
Распознавание информации
На этапе распознавания используются программные OCR компоненты. Качество результирующих записей зависит от степени готовности анкеты к машинному чтению и тщательности предварительной настройки программного обеспечения.
Верификация данных
Производится автоматическая верификация полученных после распознавания данных. Наиболее частые проверки — проверка на ожидаемый тип данных (число/чекбокс/строка), проверка на присутствие значений. Все проблемные места, отмеченные на данном этапе маркируются для передачи на стадию коррекции.
Коррекция данных
Оператор обрабатывает информацию полученную на стадии верификации данных и вносит изменения в результирующую запись вручную (ввод с клавиатуры, выбор из списка заранее заданных ответов). На данном этапе повторно производится «обучение» программного комплекса. Все накопленные правки анализируются алгоритмами и применяются для дальнейшей работы с данным набором анкет.
Экспорт данных
Оцифрованные структурированные данные выгружаются в необходимом формате для дальнейшего анализа результатов анкетирования.
Производительность систем ввода анкет
На этапах сканирования и распознавания анкет важную роль играет применяемая техника. Использование профессиональных промышленных сканеров и мощных станций распознавания позволит добиться максимальной скорости оцифровки (около 96000 анкет за 1 рабочий день для 1 сканера). Узким местом на пути получения готовой базы данных является этап коррекции данных. Для обеспечения минимального количества ошибок операторы вручную обрабатывают информацию помеченную на этапе верификации данных. Процедура занимает много времени и требует серьёзного специализированного обучения сотрудников.
Оцифровка книг • Поточное сканирование документов
Полезное
Смотреть что такое «Поточное сканирование документов» в других словарях:
Оцифровка книг — Сверхпроизводительный сканер APT BookScan Оцифровка книг это процесс перевода бумажных книг в электронны … Википедия
Система электронного архива — Возможно, эта статья содержит оригинальное исследование. Добавьте ссылки на источники, в противном случае она может быть выставлена на удаление. Дополнительные сведения могут быть на странице обсуждения. Э … Википедия
Adobe Acrobat — Тип Редактор PDF Разработчик Adobe S … Википедия
Сканер изображений — У этого термина существуют и другие значения, см. Сканер. Сканер (ан … Википедия
Планетарный сканер — Планетарный сканер (англ. planetary scanner) разновидность сканера изображений, использующийся для бесконтактного сканирования книг и сброшюрованных документов. Планетарные сканеры широко используются для оцифровки оригиналов,… … Википедия
Оптическое распознавание символов — (англ. optical character recognition, OCR) механический или электронный перевод изображений рукописного, машинописного или печатного текста в текстовые данные последовательность кодов, использующихся для представления символов в… … Википедия
Лазерный принтер — 1993 Apple LaserWriter Pro 630 … Википедия
Colortrac — Эту статью следует викифицировать. Пожалуйста, оформите её согласно правилам оформления статей … Википедия
XSane — XSane … Википедия
Ручной сканер — Ручные сканеры устройства, сканирование которыми производится путем проведения по обрабатываемому тексту или изображению. Термин возник с появлением первых монохромных портативных сканеров небольшого размера, функции которых ограничивались… … Википедия
Системы управления задачами, документами и бизнес-процессами
Многофункциональное приложение для решения основных задач Бизнеса
Система автоматизации делопроизводства и электронного документооборота
Система автоматизации документооборота и бизнес-процессов
*** Самые популярные решения
Для органов власти и государственных структур
Система электронного документооборота «Дело»
Для крупных компаний и международных корпораций
Система документооборота «Тезис»
Для малого и среднего бизнеса
Система управления заданиями и документами «Ведок»
Для электронного архива
Подсистема «Архивное Дело»
*** Система автоматизации подбирается индивидуально, в соответствии с требованиями и нуждами заказчика. Данные решения являются стандартными, и представлены здесь исключительно как пример.
Опция «Поточное сканирование»
Документы загружаются в сканер одной пачкой. В процессе сканирования каждый документ из нее автоматически идентифицируется по штрих-коду. Таким образом, все операции, начиная с загрузки документов в сканер, выполняются автоматически, без участия оператора. Штрих-код для документа может быть сгенерирован системой и распечатан на документе или на отдельном листе бумаги. Если на страницы документов уже нанесены штрих-коды стандартного формата, то они также могут быть использованы для идентификации.
Распознавание отсканированного документа и его сохранение в текстовом виде существенно расширяет возможности по его дальнейшее обработке. К примеру, становится доступным быстрый поиск по содержанию документов. Механизм распознавания текста в опции «Поточное сканирование» базируется на возможностях продукта ABBYY FineReader Engine, по праву считающегося лучшим решением для распознавания.
При традиционном подходе обработка текста при распознавании может занимать достаточно много времени. В опции «Поточное сканирование» предусмотрена возможность параллельной обработки текста на нескольких серверах одновременно, что позволяет получить необходимую скорость обработки.
Процедура регистрации сканируемых документов практически не отличается от стандартной. Опция «Поточное сканирование» запускается непосредственно из используемой системы документооборота.
При покупке системы лицензируется только параметр «количество обрабатываемых страниц в месяц». А дополнительно, для выполнения задач OCR-распознавания текста, в комплект могут быть включены лицензии на использование одного или нескольких экземпляров продукта ABBYY FineReader Engine.
На этапе запуска системы в эксплуатацию предусмотрена возможность вручную управлять работой системы. Это позволяет установить наиболее подходящие параметры настроек и подобрать оптимальное качество сканируемых документов.
Для работы опции «Поточное сканирование» рекомендуется использовать ОС Windows Server 2003 или Windows Server 2008.
Требования к поточным сканерам:
Обязательно – поддержка TWAIN-интерфейса;
Рекомендуется – отсутствие предзахвата второй страницы.
Описание технологического процесса обработки документов
Принцип поточного сканирования основан на том, что на документ при регистрации наносится штрих-код. Потом помеченные штрих-кодом документы сканируются и автоматически (по штрих-коду) связываются с регистрационной карточкой соответствующего документа. Если на сканируемые документы уже нанесен штрих-код стандартного формата, то он также может быть использован для идентификации. Структурная схема работы системы представлена на рисунке.
В процессе сканирования предусмотрены как опция сохранения непосредственно графического образа документа, так и возможность последующего распознавания и сохранения в текстовом формате. Это существенно облегчает дальнейшую работу с документом и расширяет возможности использования поиска. Распознавание и перевод в текстовый формат реализуются с помощью ABBYY FineReader Engine.
Опция «Поточное сканирование» позволяет обрабатывать документы на всех поддерживаемых ABBYY FineReader языках, включая русский, английский, немецкий, французский, испанский, итальянский, шведский, финский, болгарский, венгерский, словацкий, чешский, башкирский, белорусский, казахский, украинский.
Интеграция произвольной СЭД с опцией
Интеграция с опцией «Поточное сканирование» предполагает реализацию со стороны произвольной СЭД только двух функций:
Регистрация и сканирование документов
Регистрация документа, т.е. создание регистрационной карточки, выполняется по обычным правилам используемой системы электронного документооборота. Далее, при обращении к опции «Поточное сканирование», происходят регистрация заявки на сканирование, а также генерация штрих-кода и указание параметров заявки (расположение штрих-кода, требуемые форматы, необходимость распознавания). После того как регистрационная карточка документа будет записана в базу данных, на его первую страницу или на отдельный лист бумаги с помощью принтера наносится штрих-код. Он содержит уникальный идентификационный номер документа и устанавливает правила его обработки. Печать полученного изображения штрих-кода осуществляется средствами системы документооборота. Затем пакет зарегистрированных документов помещается в устройство подачи бумаги сканера, после чего их обработка производится автоматически.
В процессе сканирования, нанесенный штрих-код используется как признак окончания текущего документа и начала следующего, а содержащаяся в штрих-коде дополнительная информация применяется для дальнейшей идентификации обрабатываемого документа.
Результаты сканирования
При сохранении графического образа документов система обеспечивает возможность конвертации изображений сканируемых документов в следующие форматы:
BMP (Windows or OS/2 bitmap);
PNG (Portable Network Graphics);
TIFF (Tagged Image Format);
JPEG (Joint Photographic Experts Group);
PDF (Portable Document Format).
Для каждого из них предусмотрена возможность указывать размеры изображения и дополнительные атрибуты (глубина цвета, тип сжатия и т.п.). Если размер требуемого формата отличается от текущего графического представления, то конвертация может быть выполнена с использованием заданных параметров.
В случае применения технологии распознавания текста, предусмотрена возможность сохранения в большинстве наиболее распространенных форматах файлов*:
Текстовый файл (.txt);
Rich Text Format (.rtf);
Microsoft Word 2007 (.docx);
PDF (Portable Document Format).
Для каждого из них предусмотрена возможность указывать дополнительные атрибуты (размер страницы, кодировка и т.п.). В режиме сохранения в виде PDF-файла возможна как запись в виде изображения, так и в виде распознанного текста.
Таким образом, опция «Поточное сканирование» реализует эффективную технологию преобразования бумажных документов в электронный вид и позволяет в сжатые сроки осуществить переход к работе с их электронными образами. Продуманные настройки, гибкие механизмы управления и подробная документация для разработчиков делают работу с системой удобной и результативной.
*Список поддерживаемых текстовых форматов зависит от возможностей используемой системы распознавания и может изменяться.
Начальник группы телемаркетинга
Закажите демонстрацию системы
Мы свяжемся с вами, проконсультируем по интересующим вопросам, подготовим персональную демонстрацию в удобное для вас время.
Переход на отечественную АИС МФЦ
Скидка на право использования АИС МФЦ «ДЕЛО» при миграции с других решений по автоматизации МФЦ
«Амнистия» по техподдержке
Акция для клиентов, у которых есть просроченная техподдержка до 01.01.2015
ocnova.ru
Организация электронного архива документов.Потоковое сканирование
Ответить Бизнес процессы Сентябрь 30th, 2010 Аналайзер
Рассмотрим модель бизнес процесса потокового сканирования текста для организации электронного архива документов
предназначено для автоматизации перевода бумажных документов в электронный вид, создание электронного документооборота и электронного архива документов.
– Предварительное формирование штрих-кодов
– Формирование сканированного образа документа
– Формирование электронной учётной карточки, содержащей электронный образ отсканированного документа
– Передачу корректно отсканированного электронного образа документа в БД
При этом каждый пакет документов для сканирования может идентифицироваться по:
– Количеству указанных страниц
Возможный вариант идентификации пакета сканирования определяется настройками сканирования.
– Снижение трудозатрат на ввод информации в базы данных
– Возможность замены бумажного документооборота и бумажных архивов электронной системой документооборота
– Повышение эффективности управления документами
– Снижение временных затрат на поиск документов
Документы в процессе сканирования проходят определенные этапы, совокупность которых мы обозначим как жизненный цикл сканированных документов (ЖЦ сканирования).
Основной процесс сканирования включает общие этапы:
Этапы ЖЦ сканирования включают:
Роли пользователям выделяются в соответствии с их участием в ЖЦ сканирования.
Подробнее по этапам.
Этап «Сканирование» может также интерпретироваться как «Импорт документов», т.к. системы потокового сканирования могут осуществлять считывание изображений не только со станций сканирования, но и из локальных, сетевых ресурсов, а также осуществлять считывание из электронной почты.
Но в рамках данной статьи мы рассматриваем конкретно потоковое сканирование, и как следствие, 1 этап – сканирование документов. Под системой потокового сканирования подразумеваются программные комплексы, предназначенные для потоковой обработки данных.
Поточные сканеры в большинстве своем оснащены системой автоматической подачи документов, что позволяет достигнуть скорости оцифровки до 200 изображений в минуту на один сканер.
Для выделения отдельных документов из потока в начале сканируемого документа должна быть нанесена штамп-метка/маркер/штрих-код, либо документы потока должны быть разделены чистыми листами.
Если же при этом требуется определение типа и вида документа, то метка должна сопровождаться кодом сканирования, на основании которого будет проводиться сопоставление бумажного и электронного документов.
Если документ является многостраничным, метка и код сканирования наносятся только на первый лист документа, и в дальнейшем при вводе массива документов они служат признаком конца текущего документа и началом нового.
Место нанесения метки и кода сканирования может находиться в любой свободной от текста части документа. При отсутствии на лицевой стороне документа свободного места их можно нанести с обратной стороны листа.
Итого, мы можем выделить следующие подэтапы для первого этапа:
– Формирование штамп-метки/маркера/штрих-кода специализированной программой
– Распечатка штамп-метки/маркера/штрих-кода
– Подготовка комплекта документов для сканирования, нанесение штамп-метки/маркера/штрих-кода
– Сканирование пакетов документов:
Сканирование документов можно осуществлять в рамках локальной сети, удаленно по средствам http, а также с использованием интерфейсов TWAIN, WIA и ISIS.
Результат выполнения этапа: отсканированный документ в формате PDF, TIFF, JPEG, JPEG2000, BMP, PNG, PCX, DCX, DjVu, JBIG2.
На этапе распознавания используются программные OCR компоненты.
Системы, поддерживающие распознавание текста, позволяют:
В качестве настроек обычно можно указывать максимальное количество неуверенно распознанных символов на страницы для дальнейшей корректировки содержания на этапе Верификации.
Результат выполнения этапа: отсканированный документ в формате Microsoft Word, HTML, PDF и др.
Этап верификации включает:
На этом этапе, в случае обнаружения ошибок при сканировании и всех неточностей, информация помечается специальными маркеровками для дальнейшего исправления на этапе Коррекции. При необходимости, этап Верификации можно проводить повторно.
Станция верификации позволяет оператору проверять, правильно ли была проанализирована страница, создавать и редактировать блоки, проверять неуверенно распознанные символы, а также редактировать распознанный текст.
После верификации и устранения ошибок, страница будет отправлена на дальнейшую обработку или проэкспортирована. При неудовлетворительных результатах распознавания, оператор станции верификации может отправить страницу на повторную обработку.
Результат выполнения этапа: заполненная учетная карточка документа и отсканированный документ в формате Microsoft Word, HTML, PDF и др.
Оператор обрабатывает информацию, полученную на стадии верификации данных, вносит изменения в результирующую запись вручную (ввод с клавиатуры, выбор из списка заранее заданных ответов). В некоторых случаях может объединяться с предыдущим этапом верификации данных.
Результат выполнения этапа: заполненная отредактированная учетная карточка документа и отсканированный документ в формате Microsoft Word, HTML, PDF и др.
Оцифрованные структурированные данные выгружаются в необходимом формате для дальнейшего анализа результатов сканирования.
При этом экспорт данных может осуществляться:
Также может осуществляться рассылка данных по электронной почте.
Результат выполнения этапа: размещение/отправка итогового документа на требуемом ресурсе.
Назначение: предназначено для автоматизации перевода бумажных документов в электронный вид, создание электронного документооборота и электронного архива документов.
Функции потокового сканирования включают:
– Предварительное формирование штрих-кодов
– Формирование сканированного образа документа
– Формирование электронной учётной карточки, содержащей электронный образ отсканированного документа
– Передачукорректно отсканированного электронногообраза документа в БД
Возможно осуществление потокового сканирования в пакетном режиме. При этомкаждый пакет документов для сканирования может идентифицироваться по:
– Количеству указанных страниц
Возможный вариант идентификации пакета сканирования определяется настройками сканирования.
Преимущества использования потокового сканирования:
– Снижение трудозатрат на ввод информации в базы данных
– Возможность замены бумажного документооборота и бумажных архивов электронной системой документооборота
– Повышение эффективности управления документами
– Снижение временных затрат на поиск документов
Жизненный цикл сканированных документов
Документы в процессе сканирования проходят определенные этапы, совокупность которых мы обозначим как жизненный цикл сканированных документов (ЖЦ сканирования).
Основной процесс сканирования включает общие этапы:
Этапы ЖЦ сканирования включают:
1. Сканирование документов
2. Распознавание информации
3. Верификация данных
4. Коррекция данных
Роли пользователям выделяются в соответствии с их участием в ЖЦ сканирования.
Подробнее по этапам.
Этап 1. Сканирование документов
Этап «Сканирование» может также интерпретироваться как «Импорт документов», т.к. системы потокового сканирования могут осуществлять считывание изображений не только со станций сканирования, но и из локальных, сетевых ресурсов, а также осуществлять считывание из электронной почты.Но в рамках данной статьи мы рассматриваем конкретно потоковое сканирование, и как следствие, 1 этап – сканирование документов. Под системой потокового сканирования подразумеваются программные комплексы, предназначенные для потоковой обработки данных.
Поточные сканеры в большинстве своем оснащены системой автоматической подачи документов, что позволяет достигнуть скорости оцифровки до 200 изображений в минуту на один сканер.
Для выделения отдельных документов из потока в начале сканируемого документа должна быть нанесена штамп-метка/маркер/штрих-код, либо документы потока должны быть разделены чистыми листами. Если же при этом требуется определение типа и вида документа, то метка должна сопровождаться кодом сканирования, на основании которого будет проводиться сопоставление бумажногои электронного документов. Если документ является многостраничным, метка и код сканирования наносятся только на первый лист документа, и в дальнейшем при вводе массива документов они служат признаком конца текущего документа и началом нового.
Место нанесения метки и кода сканирования может находиться в любой свободной от текста части документа. При отсутствии на лицевой стороне документа свободного места их можно нанести с обратной стороны листа.
Итого, мы можем выделить следующие подэтапы для первого этапа:
– Формирование штамп-метки/маркера/штрих-кода специализированной программой
o Одномерные штрих-коды
– Подготовка комплекта документов для сканирования, нанесение штамп-метки/маркера/штрих-кода
– Сканирование пакетов документов:
o Исправление перекосов, искажений, удаление частей изображений идр.
o Сборка документов по типам, видам
o Корректировка качества сканирования
Результат выполнения этапа: отсканированный документ в формате PDF, TIFF, JPEG, JPEG2000, BMP, PNG, PCX, DCX, DjVu, JBIG2.
Этап 2. Распознавание информации
На этапе распознавания используются программные OCR компоненты.
Системы, поддерживающие распознавание текста, позволяют:
o Осуществлять распознавание печатного текста на разных языках, таких как: латинский, греческий, тайский, армянский, японский, корейский, китайский и др. Перечень поддерживаемых языков зависит от возможностей конкретной программы.
o Осуществлять распознавание документов, содержащих текст сразу на разных языках. При этом, система сама распознает какой текст к какому языку относится.
o Распознавать текст различного типа: типографская печать, печатная машинка, матричный принтер, MICR (E13B), OCR-A, OCR-B.
o Распознавать штрих коды.
В качестве настроек обычно можно указывать максимальное количество неуверенно распознанных символов на страницы для дальнейшей корректировки содержания на этапе Верификации.
Результатвыполнения этапа: отсканированный документ в формате Microsoft Word, HTML, PDF и др.
Высокое качество распознавания и восстановления оформления документа:
Контроль качества распознавания:
Этап 3. Верификация данных
Этап верификации включает:
o Проверка на неуверенно распознанные символы
o Проверку полученной от сканирования информации на ожидаемые типы данных
o Проверку полученной от сканирования информации на присутствие значений
o Редактирование распознанного текста
o Формирование учетной карточки документа
o Заполнение атрибутов карточки отсканированного документа
На этом этапе, в случае обнаружения ошибок при сканировании и всех неточностей, информация помечается специальными маркеровками для дальнейшего исправления на этапе Коррекции. При необходимости, этап Верификации можно проводить повторно.
Станция верификации позволяет оператору проверять, правильно ли была проанализирована страница, создавать и редактировать блоки, проверять неуверенно распознанные символы, а также редактировать распознанный текст.
После верификации и устранения ошибок, страница будет отправлена на дальнейшую обработку или проэкспортирована. При неудовлетворительных результатах распознавания, оператор станции верификации может отправить страницу на повторную обработку.
Результатвыполнения этапа: заполненная учетная карточка документа и отсканированный документ в формате Microsoft Word, HTML, PDF и др.
Этап 4. Коррекция данных
Оператор обрабатывает информацию, полученную на стадии верификации данных, вносит изменения в результирующую запись вручную (ввод с клавиатуры, выбор из списка заранее заданных ответов). В некоторых случаях может объединяться с предыдущим этапом верификации данных.
Результатвыполнения этапа: заполненная отредактированная учетная карточка документа и отсканированный документ в формате Microsoft Word, HTML, PDF и др.
Этап 5. Экспорт данных
Оцифрованные структурированные данные выгружаются в необходимом формате для дальнейшего анализа результатов сканирования. При этом экспорт данных может осуществляться:
o В локальную или сетевую папку
o В корпоративный портал
o В систему электронного документооборота/электронный архив
Также может осуществляться рассылка данных по электронной почте.
Результат выполнения этапа: размещение/отправка итогового документа на требуемом ресурсе.