Что такое сохранение данных
СОДЕРЖАНИЕ
История
Большинство исторических данных, собранных с течением времени, потеряно или уничтожено. Причиной этого стали войны и стихийные бедствия в сочетании с отсутствием материалов и необходимых методов для сохранения и защиты данных. Обычно сохранялись только самые важные наборы данных, такие как правительственные отчеты и статистика, юридические контракты и экономические операции. Данные научных исследований и докторских диссертаций в основном были уничтожены из-за ненадлежащего хранения и недостаточной осведомленности о сохранении данных и их выполнения. Со временем сохранение данных эволюционировало и приобрело важность и осведомленность. Теперь у нас есть много разных способов сохранения данных, и в этом участвует множество различных важных организаций.
Важность
Возможности сохранения данных огромны. Все, от правительственных и деловых записей до произведений искусства, по сути, может быть представлено в виде данных и может быть потеряно. Затем это приводит к потере человеческой истории на вечность.
Напротив
Таким образом, сохранение данных превышает концепцию наличия или владения данными или резервными копиями данных. Сохранение данных обеспечивает надежный доступ к данным за счет включения механизмов резервного копирования и восстановления, которые предшествуют событию бедствия или технологического изменения.
Методы
Цифровой
Технология, предоставляя отличный процесс сохранения данных, который, возможно, был невозможен в прошлом, также меняется с такой скоростью, что цифровые данные могут быть больше не доступны из-за несовместимости формата с новым программным обеспечением. Без использования сохранения данных большая часть наших существующих цифровых данных находится под угрозой.
Большинство методов, используемых сегодня для сохранения данных, представляют собой цифровые методы, которые пока являются наиболее эффективными из существующих.
Архивы
Примером важного архива данных является архив данных изображений LONI, который представляет собой архив, в котором собираются данные о клинических испытаниях и клинических исследованиях.
Каталоги, справочники и порталы
Репозитории
Репозиторий, содержащий все наборы данных на одном сайте.
Пример крупного односайтового репозитория Data Archiving and Networking Services, который представляет собой репозиторий, обеспечивающий постоянный доступ к цифровым исследовательским ресурсам для Нидерландов.
Репозиторий, в котором хранятся наборы данных на нескольких сайтах организаций.
Примером хорошо известного многосайтового репозитория является OpenAIRE, который представляет собой репозиторий, в котором хранятся данные исследований и публикации, сотрудничающие со всеми странами ЕС и многими другими. OpenAIRE продвигает открытые стипендии и стремится улучшить возможности обнаружения и повторного использования данных.
Надежный цифровой репозиторий
Репозиторий, который стремится обеспечить надежный, доверенный доступ в течение длительного периода времени. Репозиторий может быть одно- или многосайтовым, но он должен взаимодействовать с эталонной моделью для открытой архивной информационной системы, а также придерживаться набора правил или атрибутов, которые способствуют его доверию, таких как постоянная финансовая ответственность, организационная жизнеспособность, административные функции. ответственность безопасность и сохранность.
Примером надежного цифрового репозитория является The Digital Repository of Ireland (DRI), который представляет собой многосайтовый репозиторий, в котором хранятся наборы данных по гуманитарным и социальным наукам Ирландии.
Кибер-инфраструктуры
Кибер-инфраструктуры, состоящие из архивных коллекций, которые доступны через систему оборудования, технологий, программного обеспечения, политик, услуг и инструментов. Кибер-инфраструктуры предназначены для обмена данными, поддерживающими одноранговое сотрудничество и культурное сообщество.
Примером крупной кибер-инфраструктуры является Канадская инфраструктура геопространственных данных, которая обеспечивает доступ к пространственным данным в Канаде.
Резервное хранение данных. Где, что и как?
Начну свой рассказ фразой, которая оправдывает себя на все 100: «Если информация не сохранена в трёх местах – её не существует». Не помню, сказал это кто-то из великих или это народная поговорка, но неоднократно убеждался на своём опыте и опыте знакомых в её точности.
Рассмотрим варианты хранения от облачных сервисов до физических носителей дома в тумбочке.
Сразу обозначу о хранимых данных: не будем углубляться в сам материал хранения (для кого-то фото с таранкой из 90х важнее, чем чёрная бухгалтерия тёти Светы). Обобщим хранение важных для каждого электронных данных.
Начнём с облачных вариантов
Варианты от мобильных монстров
Пользователям Android повезло больше, чем iOSникам ибо Google фото даёт безлимитное пространство для хранения фото/видео. Но тут не без ложки дёгтя. В безлимитном варианте от Google фото ваш контент ужимается (по словам Google, разницы вы не заметите), но меня не устраивает, что снятое мною видео с частотой 60 кадров, облако жмёт до 30 фпс. В динамических сценах – это очень бросается в глаза. А так, да, вариант топовый.
Владельцам же iOS с их iCloud установлен определённый лимит и дальше за денюжку. Но не стоит расстраиваться, есть же Яндекс Диск с функцией безлимитной загрузки фото с телефона. Хоть какой-то, но выход. Правда, на старте дают «аж» 10 гб места под прочие файлы.
Что у нас дальше. Облако mail.ru
Кто успел «урвать» по акции халявы, когда они раздавали бесплатно и навсегда по 1ТБ – красавчики. К облаку, почти, нет никаких претензий. Да, иногда у юзеров пропадает контент, но таких жалоб не подавляющее количество и в целом, облако функционирует отлично. Для жителей Украины всё так же ок, только через VPN. По мне, это топ вариант для владельцев бесплатного терабайтника. Да, такой объём дело времени и, рано или поздно, место закончится, но как подстраховка – самое то. Никто не запрещает иметь несколько таких, что у меня, собственно и есть.
По сей день удивляюсь их акции невиданной щедрости.
На втором месте идёт Mega.nz
Там бесплатно дают 50гб места. Для фото-видео маловато, а вот для текстовухи и прочего – огонь. Да, есть заморочки со скачкой файлов и лимитами, но бесплатно сойдёт.
Китайские облака-заманухи типа байду, шмайду, которые когда-то раздавали по 36ТБ и выдавали скорость загрузки уровня dial-up – это не про комфорт, да и посворачивалось много из них. Китайцы, такие китайцы. А какие были надежды и сколько хайпа.
Позиция для рисковых юзеров
Есть еще безлимитные хранилища от гугла в сегменте edu. Т.е. можно по мануалам на 4pda зацепиться за такое облако. Это сервис, где гугл предоставляет неограниченное пространство для учебных заведений. Замануха та ещё. Срок жизни и доступа к такому облаку, как у хомячка. Может и год, а может и 6 месяцев, как у меня было. Не рекомендую для постоянного пользования и хранения важных файлов. Самое забавное то, что после того, как вам закрывают доступ, ваши файлы все еще продолжают храниться у них и неизвестно как долго.
На десерт у нас обычные 15гб от gmail. Да, мало, зато от Google. Для текстовок самое оно. Сюда же можно вставить и Dropbox, но там бесплатный объём еще смешнее, как и у One Drive.
Остальные условно-бесплатные не стоят внимания, ибо клонируют функционал друг друга.
Плюсы: бесплатно, удобно, автоматизировано, онлайн доступ.
Минусы: небезопасно и в любой момент инфа может тю-тю, за платное пространство придётся раскошелиться.
Переходим ко второму пункту, и людям, которым есть что скрывать и ценить. Речь пойдёт о NAS
Если ваши объёмы превышают те, которые предоставляют облачные хранилища от «дяди», самое время завести своё.
Лично для меня, ценнее семейной мультимедиа нет ничего в цифровом мире. Поэтому, вариант с железкой под боком – это про меня.
По настройке NAS дружелюбен для простого обывателя (в одной знакомой фирме его завели без системного администратора). На NAS можно и RAID забабахать, и обширные возможности. Такой себе сервер, независимый от большого брата.
Сам же RAID – это больше для ГИКов. От уровня шизофрении и финансовых возможностей и будет зависеть уровень RAID от 0 до 10. Там уже будет пользователь играться количеством зеркал и прочих прелестей.
Плюсы: высокая надёжность, постоянный доступ к файлам.
Минусы: цена, настройка – это больше к RAID.
Вариант №3 для параноиков и староверов
Прикупить обычных 2,5” винчестеров и бекапить на них раз в определённое время свои важные файлы. После чего, аккуратно убирать в тумбочку/ сейфы/ к тёще на дачу. Такой вариант самый простой. У меня, обычно, 2 «веника» под такое дело всегда в работе. Но был и казус. Один винчестер откинулся (WDшка) через года полтора. Доставал я его раз в три месяца, что бы закидывать фото/видео. И вот, в один день, достав его из тумбочки, подключив – услышал щелчки. Пытались восстановить, но узнав ценник и имея бэкап – выкинул его.
А вот знакомый, не имея резервного хранения, потерял семейный архив почти за 10 лет и HDD не подлежал восстановлению. После того случая, моя паранойя удвоилась.
От себя добавлю: очень хорошо себя показывают портативные HDD от Silicon Power (прорезиненные такие).
Плюсы: надёжность, простота использования.
Минусы: нет доступа онлайн к файлам, трата денег при больших объёмах.
Итого
Все вышеуказанные варианты хранения вашей личной информации зависят от ваших финансовых возможностей и ценности той самой информации.
Лично я, использую вариант и с облаком, и с хранением на портативном HDD в тумбочке. Конечно, самым надёжным и удобным вариантом является NAS+RAID или платная подписка у Google и схожих монстров рынка.
По хранению мобильного контента Google фото и Яндекс Диск – в фаворе. Для мелочёвки пойдёт Mega, Dropbox. Всё остальное за донат либо покупать железячки.
Одно радует, что не приходится уже складировать фильмы, музыку. Появилась куча сервисов онлайн просмотра и прослушивания. Да и современная скорость интернета позволяет скачивать контент, пока идешь за стаканами к пиву.
С каждым годом все больше уходят в облака и удалённые хостинги. Это не тренд, а удобство. Когда ты не паришься, выключили свет, зависло что-то, хватит ли места, мощностей. Поэтому, есть много вариантов на каждый кошелёк, что бы сделать эту жизнь комфортнее. Выбор за вами, господа!
Как всегда, мне интересно: какой вариант ближе вам, кто и что использует? Готов к живой дискуссии.
На правах рекламы
Наши эпичные серверы используют only NVMe сетевое хранилище с тройной репликацией данных, надёжность на высоте! Вы можете использовать любой сервер для хранения бэкапов важных данных с локальных машин или других серверов и быть уверенным, что они будут всегда под рукой. К тому же, есть возможность делать резервные копии образа виртуального сервера в автоматическом или ручном режиме.
Автоматическое сохранение данных: способы, виды и методы
Сохранение данных на локальном или сетевом устройстве решает такие задачи, как безопасность важных файлов, создание клонов и зеркал, а также копирование данных в другое хранилище. Handy Backup обеспечивает безопасное сохранение данных! Скачайте прямо сейчас бесплатную пробную версию!
Версия 8.3.3 от 28 ноября 2021. 112 MB
30-дневный полнофункциональный пробный период
Сохранение данных — виды сохраняемой информации
Автоматическое сохранение данных чаще всего используется для следующих задач:
Плагины Handy Backup
Способы сохранения данных различных типов в Handy Backup представлены в виде программных модулей — плагинов. Каждый плагин работает с данными определённого вида, обеспечивая автоматическое сохранение данных в зависимости от их источника.
На заметку: различные решения Handy Backup предоставляют пользователям разные наборы плагинов. Если вам нужен определённый плагин, который не входит в начальный комплект приобретённого вами решения, вы можете купить его дополнительно на нашем сайте!
Способы сохранения данных
В зависимости от решаемых задач, существует несколько способов сохранения персональных данных пользователя или системной информации в Handy Backup.
Локальное сохранение данных
При этой операции копия информации записывается на локальный диск или на внешний USB-носитель. Для сетевых решений Handy Backup доступна также функция локального сохранения данных на носители, подключенные к сетевым машинам. Подробнее о бэкапе на USB.
Сохранение данных по сети
В этом случае под «сетью» может подразумеваться как локальная сеть, так и Интернет. Данные могут быть записаны на разделяемый (shared) сетевой диск или папку, на устройство NAS, сервер FTP (а также бэкапиться на SFTP и FTPS серверы), или на облачный носитель.
Облачные хранилища
С помощью Handy Backup можно настроить сохранение данных в разные облака, например, бэкап на Amazon S3, Яндекс.Диск, Mail.ru Hotbox и Icebox, Google Drive, Dropbox, OneDrive и OneDrive для бизнеса, облачное хранилище HBDrive, или через WebDAV.
Рекомендуемое решение
1900 ₽ за лицензию
Handy Backup Standard
Методы сохранения данных
Задачи автоматического сохранения данных делятся на два основных способа работы:
С помощью резервного копирования и восстановления данных можно достичь таких результатов, как простое сохранение данных в виде копии (бэкап), клонирование и перенос информации и т.д. Синхронизация работает только для папок и позволяет сделать все файлы в папках идентичными.
Преимущества сохранения данных с Handy Backup
Автоматизация работы
Задачи сохранения данных и синхронизации папок в Handy Backup могут быть запущены как вручную, так и в автоматическом режиме — по заданному расписанию в точно указанное время и с указанным интервалом, или по наступлению системного события.
Удобство управления
Создавайте и контролируйте ваши задачи сохранения данных с помощью интуитивно понятного классического интерфейса пользователя. Запускайте задачи в бесшумном режиме как службу Windows, получайте уведомления по почте, настраивайте любые способы сохранения данных!
Безопасность и надёжность хранения
Многие хранилища, используемые в Handy Backup, имеют надёжную защиту от потери и взлома данных, а также шифрование траффика при передаче информации по сети. Кроме того, вы можете воспользоваться встроенными средствами шифрования и сжатия резервных копий данных.
Версия 8.3.3 от 28 ноября 2021. 112 MB
30-дневный полнофункциональный пробный период
Попробуйте программу для сохранения персональных данных прямо сейчас!
Установите версию Handy Backup со всеми функциями на 30-дневный бесплатный пробный период!
Узнайте больше о сохраняемых данных Handy Backup:
Хранение данных. Или что такое NAS, SAN и прочие умные сокращения простыми словами
TL;DR: Вводная статья с описанием разных вариантов хранения данных. Будут рассмотрены принципы, описаны преимущества и недостатки, а также предпочтительные варианты использования.
Зачем это все?
Хранение данных — одно из важнейших направлений развития компьютеров, возникшее после появления энергонезависимых запоминающих устройств. Системы хранения данных разных масштабов применяются повсеместно: в банках, магазинах, предприятиях. По мере роста требований к хранимым данным растет сложность хранилищ данных.
Надежно хранить данные в больших объемах, а также выдерживать отказы физических носителей — весьма интересная и сложная инженерная задача.
Хранение данных
Под хранением обычно понимают запись данных на некоторые накопители данных, с целью их (данных) дальнейшего использования. Опустим исторические варианты организации хранения, рассмотрим подробнее классификацию систем хранения по разным критериям. Я выбрал следующие критерии для классификации: по способу подключения, по типу используемых носителей, по форме хранения данных, по реализации.
По способу подключения есть следующие варианты:
подключение дисков в сервере
дисковая полка, подключаемая по FC
По типу используемых накопителей возможно выделить:
Если рассматривать форму хранения данных, то явно выделяются следующие:
По реализации достаточно сложно провести четкие границы, однако можно отметить:
RAID контроллер от компании Fujitsu
пример организации LVM с шифрованием и избыточностью в виртуальной машине Linux в облаке Azure
Давайте рассмотрим более детально некоторые технологии, их достоинства и недостатки.
Direct Attached Storage — это исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать:
Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.
Storage area network, она же сеть хранения данных, является технологией организации системы хранения данных с использованием выделенной сети, позволяя таким образом подключать диски к серверам с использованием специализированного оборудования. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Сеть хранения данных чаще всего использует технологию Fibre Channel, однако явной привязки к технологии передачи данных — нет. Накопители используются в блочном режиме, для общения с накопителями используются протоколы SCSI и NVMe, инкапсулируемые в кадры FC, либо в стандартные пакеты TCP, например в случае использования SAN на основе iSCSI.
Давайте разберем более детально устройство SAN, для этого логически разделим ее на две важных части, сервера с HBA и дисковые полки, как оконечные устройства, а также коммутаторы (в больших системах — маршрутизаторы) и кабели, как средства построения сети. HBA — специализированный контроллер, размещаемый в сервере, подключаемом к SAN. Через этот контроллер сервер будет «видеть» диски, размещаемые в дисковых полках. Сервера и дисковые полки не обязательно должны размещаться рядом, хотя для достижения высокой производительности и малых задержек это рекомендуется. Сервера и полки подключаются к коммутатору, который организует общую среду передачи данных. Коммутаторы могут также соединяться с собой с помощью межкоммутаторных соединений, совокупность всех коммутаторов и их соединений называется фабрикой. Есть разные варианты реализации фабрики, я не буду тут останавливаться подробно. Для отказоустойчивости рекомендуется подключать минимум две фабрики к каждому HBA в сервере (иногда ставят несколько HBA) и к каждой дисковой полке, чтобы коммутаторы не стали точкой отказа SAN.
Недостатками такой системы являются большая стоимость и сложность, поскольку для обеспечения отказоустойчивости требуется обеспечить несколько путей доступа (multipath) серверов к дисковым полкам, а значит, как минимум, задублировать фабрики. Также в силу физических ограничений (скорость света в общем и емкость передачи данных в информационной матрице коммутаторов в частности) хоть и существует возможность неограниченного подключения устройств между собой, на практике чаще всего есть ограничения по числу соединений (в том числе и между коммутаторами), числу дисковых полок и тому подобное.
Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.
Unified storage
Универсальные системы, позволяющие совмещать в себе как функции NAS так и SAN. Чаще всего по реализации это SAN, в которой есть возможность активировать файловый доступ к дисковому пространству. Для этого устанавливаются дополнительные сетевые карты (или используются уже существующие, если SAN построена на их основе), после чего создается файловая система на некотором блочном устройстве — и уже она раздается по сети клиентам через некоторый файловый протокол, например NFS.
Software-defined storage — программно определяемое хранилище данных, основанное на DAS, при котором дисковые подсистемы нескольких серверов логически объединяются между собой в кластер, который дает своим клиентам доступ к общему дисковому пространству.
Наиболее яркими представителями являются GlusterFS и Ceph, но также подобные вещи можно сделать и традиционными средствами (например на основе LVM2, программной реализации iSCSI и NFS).
N.B. редактора: У вас есть возможность изучить технологию сетевого хранилища Ceph, чтобы использовать в своих проектах для повышения отказоустойчивости, на нашем практическим курсе по Ceph. В начале курса вы получите системные знания по базовым понятиям и терминам, а по окончании научитесь полноценно устанавливать, настраивать и управлять Ceph. Детали и полная программа курса здесь.
Пример SDS на основе GlusterFS
Из преимуществ SDS — можно построить отказоустойчивую производительную реплицируемую систему хранения данных с использованием обычного, возможно даже устаревшего оборудования. Если убрать зависимость от основной сети, то есть добавить выделенные сетевые карты для работы SDS, то получается решение с преимуществами больших SAN\NAS, но без присущих им недостатков. Я считаю, что за подобными системами — будущее, особенно с учетом того, что быстрая сетевая инфраструктура более универсальная (ее можно использовать и для других целей), а также дешевеет гораздо быстрее, чем специализированное оборудование для построения SAN. Недостатком можно назвать увеличение сложности по сравнению с обычным NAS, а также излишней перегруженностью (нужно больше оборудования) в условиях малых систем хранения данных.
Гиперконвергентные системы
Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.
Облака и эфемерные хранилища
Логическим продолжением перехода на виртуализацию является запуск сервисов в облаках. В предельном случае сервисы разбиваются на функции, запускаемые по требованию (бессерверные вычисления, serverless). Важной особенностью тут является отсутствие состояния, то есть сервисы запускаются по требованию и потенциально могут быть запущены столько экземпляров приложения, сколько требуется для текущей нагрузки. Большинство поставщиков (GCP, Azure, Amazon и прочие) облачных решений предлагают также и доступ к хранилищам, включая файловые и блочные, а также объектные. Некоторые предлагают дополнительно облачные базы, так что приложение, рассчитанное на запуск в таком облаке, легко может работать с подобными системами хранения данных. Для того, чтобы все работало, достаточно оплатить вовремя эти услуги, для небольших приложений поставщики вообще предлагают бесплатное использование ресурсов в течение некоторого срока, либо вообще навсегда.
Из недостатков: могут заблокировать аккаунт, на котором все работает, что может привести к простоям в работе. Также могут быть проблемы со связностью и\или доступностью таких сервисов по сети, поскольку такие хранилища полностью зависят от корректной и правильной работы глобальной сети.
Заключение
Надеюсь, статья была полезной не только новичкам. Предлагаю обсудить в комментариях дополнительные возможности систем хранения данных, написать о своем опыте построения систем хранения данных.