Что такое пакетная обработка данных
Пакетная обработка
Пакетная обработка
Поскольку составление расписаний машинного времени — долгая и утомительная процедура, нет ничего удивительного в том, что у пользователей ЭВМ появилась идея: а что, если всю организационную работу по составлению и контролю расписания работы пользователей на ЭВМ поручить самой вычислительной машине? По заданию, которое предназначено для компьютерной обработки, в ЭВМ вводятся конкретная программа и исходные данные. К этой информации добавляются специальные сообщения, в которых указывается, насколько срочной считается данная работа и сколько примерно она потребует машинного времени.
Все эти сведения собираются в каком-то одном месте, после чего по соответствующим признакам задается очередность заданий, и они начинают выполняться одно за другим. Данная система называется системой пакетной обработки заданий.
В системах, реализующих пакетную обработку информации, очередность выполнения заданий определяет операционная система компьютера (ОС). Определение очередности выполнения заданий, готовых к обработке, является функцией автоматического планировщика заданий в ОС. При планировании очередности предпочтение отдается заданиям с оговоренной высокой степенью срочности либо таким, которые по предварительным оценкам потребуют малого времени на обработку. Задания менее срочные, а также такие, которые требуют большего времени на обработку, откладываются. Однако для тех заданий, которые стоят в очереди уже давно, степень срочности автоматически повышается.
Если говорить о предварительной оценке времени, необходимого для выполнения задания, то нередко бывает, что программа не укладывается в отведенное для нее время и задание снимается со счета. Обычно предполагаемое для решения время берут с запасом, и если его не хватило, задание все равно снимают по лимиту времени. Бывает, что уже через секунду ясно, что задача не будет решена в отведенное ей время, но, как и в случае останова машины Тьюринга, операционная система данную ситуацию оценить не сможет.
В системе с пакетной обработкой хорошо работать, если задания велики. Тогда коэффициент использования ЭВМ будет высоким. Такой метод практикуется в вычислительных центрах университетов и других высших учебных заведений. Там компьютеры работают круглосуточно, и если в очередях наступает перерыв, в систему вводятся фоновые задания.
Фоновые задания можно всегда прервать, сбросить промежуточные данные на внешний накопитель, a потом в удобное время запустить со средины счета. К категории фоновых заданий относятся программы диагностики работоспособности компьютерной системы или развлекательные программы, например вычисляющие число л с точностью в несколько тысяч десятичных знаков.
Недостаток систем с пакетной обработкой заданий состоит в том, что от момента постановки задания на очередь до получения готовых результатов счета проходит значительное время. Данная ситуация подобна работе почты или почтового ящика. Время, которое проходит от ввода задания в машину до выдачи на руки пользователю готового результата счета, либо время от получения этого результата до постановки на очередь следующего задания на эту же тему называется временем обращения. Для пакетного режима работы ЭВМ время обращения заданий может составлять от нескольких часов до нескольких дней.
СОДЕРЖАНИЕ
История
Термин «пакетная обработка» происходит от традиционной классификации методов производства на производство по заданию (разовое производство), серийное производство (производство «партии» нескольких изделий одновременно, по одной стадии за раз) и поточное производство. (серийное производство, все этапы сразу).
Ранняя история
Ранние компьютеры могли запускать только одну программу за раз. Каждый пользователь имел единоличное управление машиной в течение определенного периода времени. Они приходили к компьютеру с программой и данными, часто на перфокартах, магнитной или бумажной ленте, и загружали свою программу, запускали и отлаживали ее, а по завершении уносили свой вывод.
Системы третьего поколения
Более поздняя история
Непрерывный
«Нет прямого аналога пакетной обработки z / OS в системах ПК или UNIX. Пакетные задания обычно выполняются в запланированное время или по мере необходимости. UNIX, хотя различия значительны ».
Современные системы
Пакетные приложения по-прежнему критически важны для большинства организаций в значительной степени потому, что многие обычные бизнес-процессы поддаются пакетной обработке. Хотя онлайн-системы также могут работать, когда ручное вмешательство нежелательно, они, как правило, не оптимизированы для выполнения повторяющихся задач большого объема. Поэтому даже новые системы обычно содержат одно или несколько пакетных приложений для обновления информации в конце дня, создания отчетов, печати документов и других неинтерактивных задач, которые должны надежно выполняться в определенные бизнес-сроки.
Некоторые приложения подходят для потоковой обработки, а именно те, которым требуются данные только из одного входа сразу (например, не итоги): начинайте следующий шаг для каждого входа, когда он завершает предыдущий шаг. В этом случае обработка потока снижает задержку для отдельных входных данных, позволяя завершить их, не дожидаясь завершения всего пакета. Однако многим приложениям требуются данные из всех записей, особенно такие вычисления, как итоги. В этом случае весь пакет должен быть завершен, прежде чем будет получен пригодный для использования результат: частичные результаты не могут быть использованы.
Языки сценариев стали популярными по мере их развития вместе с пакетной обработкой.
Пакетное окно
Размер партии
Размер пакета относится к количеству единиц работы, которые должны быть обработаны в рамках одной пакетной операции. Вот несколько примеров:
Обычное использование пакетной обработки
Известные среды пакетного планирования и выполнения
Пакетная обработка данных: как ускорить работу с big data в десятки раз
Разбираем одну мощнейшую методику обработки данных, позволяющую быстрее работать с большими данными. Это в несколько раз ускоряет бизнес-аналитику, получение отчетности и другие задачи, связанные с обработкой множества файлов.
Что такое пакетная обработка данных
Система пакетной обработки данных — это когда данные обрабатывают пакетами. То есть массив информации, сходной по смыслу или формату, помещают в некоторый контейнер, а потом производят над ней какое-то действие. Например, изменяют или отбирают нужные файлы по заданным критериям. Выбранное действие обязательно применяется сразу ко всем файлам/байтам/записям в пакете.
Как составляются пакеты данных
Существует несколько основных методов группировки информации по разным контейнерам-пакетам:
Отобранные данные отправляются в систему пакетной обработки данных, где с ними происходят нужные действия.
Что означает обработка данных в пакетном режиме
По сути, с данными в одном пакете могут происходить всего две вещи:
Пример решения для пакетной обработки данных, собранных в процессе работы бизнеса, — Apache Hadoop и его механизм обработки MapReduce. Он может работать с огромными массивами информации и используется, если в компании хранят big data.
Как можно выполнять операции пакетной обработки данных
Обработка данных в пакетном режиме означает, что все файлы пакета будут обработаны определенным образом: так, как вы выбрали. Происходить это может двумя способами:
Зачем нужны системы пакетной обработки данных
Кто применяет системы пакетной обработки данных
Пакетную обработку нужно знать и любить всем, кто выстраивает сложные алгоритмы/процессы или работает с большими объемами данных. Обычно это делается в научных системах, проектах с высокими нагрузками или там, где работают с big data.
Как правило, для системы пакетной обработки данных применяют кластеры серверов — с их помощью можно организовать параллельную обработку или построить многоэтапный конвейер.
Вот и всё: теперь вы знаете о пакетной обработке столько же, сколько любой системный архитектор.)
Обычно выполняется пакетная обработка больших неструктурированных наборов данных, которые необходимо подготовить для дальнейшего анализа. Обработка журналов и хранение данных — это типичные сценарии пакетной обработки. В таких сценариях вы анализируете сведения о проектах GitHub, например количество вилок различных проектов или сведения об обновлении проектов.
В этом руководстве вы узнаете, как:
Предварительные требования
Скачивание примера данных
GHTorrent отслеживает все открытые события GitHub, например информацию о проектах, фиксации и наблюдателях, а также сохраняет события и их структуру в базах данных. Данные, собранные за разные временные периоды, доступны в виде загружаемых архивов. Так как файлы дампа очень большие, в этом учебнике используется их сокращенная версия, которую можно скачать на сайте GitHub.
Набор данных GHTorrent распространяется по схеме двойного лицензирования (Creative Commons +). Для некоммерческих целей (в том числе для образовательных, исследовательских и личных) набор данных распространяется по лицензии CC-BY-SA.
Создание консольного приложение
В командной строке выполните следующие команды, чтобы создать новое консольное приложение:
Создание SparkSession
Добавьте следующие дополнительные инструкции using в начало файла Program.cs приложения mySparkBatchApp.
Добавьте приведенный ниже код к пространству имен проекта. s_referenceData будет использоваться позже в программе для фильтрации на основе даты.
Добавьте следующий код в метод Main, чтобы установить новый сеанс SparkSession. SparkSession является точкой входа для программирования Spark через API DataSet и DataFrame. Вызов объекта spark позволяет получить доступ к функциям Spark и DataFrame в любом месте вашей программы.
Подготовка данных
Используйте метод Na, чтобы удалить строки со значениями NA (NULL), и метод Drop, чтобы удалить определенные столбцы из данных. Это позволяет избежать ошибок при попытке анализа данных со значением NULL или столбцов, не относящихся к конечному анализу.
Анализ данных
Spark SQL позволяет выполнять SQL-вызовы данных. Общепринятой практикой является объединение пользовательских функций и Spark SQL для применения пользовательской функции ко всем строкам в DataFrame.
Цель этого приложения — получить определенные сведения о данных проектов GitHub. Добавьте следующие фрагменты кода в программу, чтобы проанализировать данные.
Добавьте следующий блок кода, чтобы определить количество вилок для каждого языка. Сначала данные группируются по языку. Затем из каждого языка берется среднее число вилок.
Добавьте следующий блок кода, чтобы упорядочить среднее число вилок по убыванию. Так вы узнаете, какие языки наиболее разветвленные. То есть сначала будет отображаться наибольшее число вилок.
В указанном ниже блоке кода показано, как давно были обновлены проекты. Вы регистрируете новую пользовательскую функцию MyUDF и сравниваете ее с датой (s_referenceDate), которая была объявлена в начале этого учебника. Дата каждого проекта сравнивается с датой ссылки. Затем с помощью Spark SQL выполняется вызов определяемой пользователем функции в каждой строке данных, чтобы проанализировать каждый проект в наборе данных.
Использование команды spark-submit для выполнения приложения
Получение кода
Полное решение можно просмотреть на сайте GitHub.
Дальнейшие действия
Пакетная обработка
Типичный сценарий работы с большими данными — это пакетная обработка неактивных данных. В этом случае исходные данные загружаются в хранилище данных либо самим исходным приложением, либо рабочим процессом оркестрации. Затем данные параллельно обрабатываются на месте с помощью задания, которое также может быть инициировано рабочим процессом оркестрации. В рамках обработки может выполняться несколько итеративных шагов до того, как преобразованные результаты будут загружены в хранилище аналитических данных для последующего запроса компонентами аналитики и отчетов.
Например, журналы с веб-сервера могут быть скопированы в папку, а затем обработаны за ночь для формирования ежедневных отчетов о веб-действии.
Когда следует использовать это решение
Пакетная обработка используется в различных сценариях — от простых преобразований данных до полного конвейера ETL (извлечение, преобразование и загрузка). В контексте больших данных пакетная обработка может выполняться для очень больших наборов данных, которые вычисляются длительное время. (Пример приведен в статье Big data architectures (Архитектуры для обработки больших данных).) Пакетная обработка обычно приводит к дальнейшему интерактивному исследованию. В ее результате предоставляются готовые данные для моделей машинного обучения или данные записываются в хранилище, которое оптимизировано для аналитики и визуализации.
Одним из примеров пакетной обработки является преобразование большого набора плоских, полуструктурированных CSV- или JSON-файлов в схематизированный и структурированный формат, который можно запрашивать. Обычно данные преобразуются из необработанных форматов, используемых для приема (например, CSV), в двоичные форматы, которые более эффективны для запросов, так как хранят данные в формате столбцов и часто предоставляют индексы и встроенную статистику данных.
Сложности
Формат данных и кодирование. Некоторые из самых сложных проблем возникают, когда файлы используют непредвиденный формат или кодирование. Например, исходные файлы могут использовать сочетание кодировки UTF-16 и UTF-8, содержать непредвиденные разделители (пробел вместо знака табуляции) или символы. Другим распространенным примером являются текстовые поля, содержащие вкладки, пробелы или запятые, которые интерпретируются как разделители. Логика загрузки и анализа данных должна быть достаточно гибкой, чтобы обнаруживать и обрабатывать такие проблемы.
Согласование временных срезов. Часто исходные данные помещаются в иерархию папок, которая отображает окна обработки, упорядоченные по годам, месяцам, дням, часам и т. д. В некоторых случаях данные могут быть получены позднее. Например, предположим, что веб-сервер выходит из строя, а журналы за 7 марта не попадают в папку для обработки до 9 марта. Они просто пропускаются, так как получены слишком поздно? Может ли подчиненная логика обработки обрабатывать записи, полученные в неправильном порядке?
Architecture
Архитектура пакетной обработки имеет следующие логические компоненты, показанные на схеме выше.
Хранилище данных. Обычно это распределенное хранилище файлов, которое может служить репозиторием для значительных объемов больших файлов в различных форматах. Зачастую этот тип хранилища часто называют Data Lake.
Пакетная обработка. Так как наборы данных очень велики, часто в решении обрабатываются длительные пакетные задания. Для них выполняется фильтрация, статистическая обработка и другие процессы подготовки данных к анализу. Обычно в эти задания входит чтение исходных файлов, их обработка и запись выходных данных в новые файлы.
Хранилище аналитических данных. Многие решения по обработке больших данных спроектированы так, чтобы подготавливать данные к анализу и предоставлять их в структурированном формате для запросов через средства аналитики.
Анализ и создание отчетов. Большинство решений по обработке больших данных предназначены для анализа и составления отчетов, что позволяет получить важную информацию.
Оркестрация. При пакетной обработке обычно требуется выполнить оркестрацию для переноса или копирования данных в хранилище, самой обработки, хранения аналитических данных и создания отчетов.
Выбор технологий
Мы рекомендуем применять следующие технологии для пакетной обработки данных в Azure.
Хранилище данных
Пакетная обработка
Дополнительные сведения см. в статье о пакетной обработке.
Хранилище аналитических данных
Дополнительные сведения см. в статье о хранилище аналитических данных.
Аналитика и отчетность
Оркестрация
Дополнительные сведения см. в статье Choosing a data pipeline orchestration technology in Azure (Выбор технологии оркестрации конвейера данных в Azure).