Cloud Storage: особенности объектного облачного хранилища

Облачное хранилище (cloud storage) уже стало чем-то привычным. Существуют десятки сервисов вроде Dropbox, Google Drive, разрешающих хранить пользователям свои файлы. Для предприятий, где объемы хранимой информации, могут исчисляться сотнями гигабайт предпочтительнее будут объектные облачные хранилища. О них мы сегодня поговорим.

File storage vs Cloud storage

В последнее время cloud storage обрело огромную популярность. Но если вам нужно сделать нечто большее, чем просто залить пару документов в облако и расшарить их, тогда нужно найти подходящий инструмент для решения именно ваших задач.

Спрашивается, а зачем вообще нужны облачные хранилища, если крупное предприятие может позволить себе купить файловую систему хранения (file storage) необходимого размера? Можно, но у любого облачного хранилища будут следующие преимущества:

1. Надежность — системы хранения облачных провайдеров построены так, что исключают возможность потери данных в случае выхода из строя «железа». При построении собственной файловой системы хранения придется потратиться. Здесь или организация RAID или резервное копирование (то есть нужно покупать программное обеспечение, дополнительные накопители или же арендовать то же облако).
2. Защита данных от всевозможных катастроф — даже если вы делаете резервные копии или же организовали RAID-массив, резервная копия и оригинал находятся в одном месте, что делает ваши данные уязвимыми при пожаре или прочих стихийных бедствиях.

Сравнение файловых и объектных облачных хранилищ приведено в таблице 1.

Таблица 1. Сравнение файловых хранилищ и объектных cloud storage

Файловые и объектные облачные хранилища

Облачные системы, предназначенные для хранения файлов, называются файловыми облачными хранилищами (cloud file storage). Системы хранения, где все данные сохранены как объекты, называются объектными облачными хранилищами (cloud object storage).

Если вам нужно хранить небольшие объемы данных, скажем 5–20 Гб, а также предоставлять доступ к ним другим пользователям, вы можете выбрать одну из однотипных облачных систем хранения, скажем, Google Drive, Яндекс. Диск или тот же Dropbox.

Но для более сложных случаев они не подходят. Когда нужно хранить огромные объемы информации, но при этом выполнять эффективный поиск, нужны объектные облачные хранилища.

Основное отличие объектного хранилища в том, что к хранимым в них файлам добавляются метаданные, описывающие их содержание. Например, для видеофайлов такими метаданными могут быть описание изображенных на видео объектов, людей, информация о месте и времени съемки, данные о качестве видео и т. д.

Из-за метаданных облако может быстро находить нужные файлы, что не получится в обычном файловом cloud storage. Там вы можете искать по имени файла, которое не всегда соответствует реальном контенту файла.

Возможности объектного cloud storage были приведены в таблице 1, а теперь рассмотрим его преимущества:

1. Неограниченное пространство. В случае с файловой системой хранения дисковое пространство ограничено физически, а в случае с ней же в облаке — тарифным планом. На том же Google Drive можно максимум получить 30 Тб дискового пространства. Для того же IceBox/HotBox от Mail. Ru, 10 Тб.
2. Оплата за используемые ресурсы. Собственный дисковый ресурс редко используется на 100%, а ведь вы за него заплатили — с запасом, на будущее. С файловыми cloud storage та же ситуация. Возьмем, например, тот же Google Drive: есть тарифы на 100 Гб, 1 Тб, 10 Тб. А вам нужно хранить 4 Тб. Придется купить либо 4 аккаунта по 1 Тб, что неудобно, не всегда допустимо или же покупать все 10 Тб. В объектном cloud storage вы платите за использованные ресурсы. Но помните, что потребности в дисковом пространстве могут возрастать и уменьшаться. В случае с объектным cloud storage никаких проблем нет. В случае с файловым — опять переплата.
3. Поддержка S3 API и Swift API. Объектные cloud storage поддерживают протоколы S3, Swift, которые уже стали стандартом. Для личного использования они могут быть не нужны, но для корпоративных решений они необходимы.

С экономической точки зрения выгоднее платить за используемые ресурсы. Но в случае с объектным облачным хранилищем оплата происходит за используемое пространство и за исходящий трафик (за входящий трафик, то есть за загрузку данных в облако вы не платите). В таблице 2 сравнивается цена разных сервисов.

Таблица 2. Цены на объектное cloud storage

Самым дорогим является Amazon S3: стоимость хранения данных у него самая дешевая, а вот стоимость исходящего трафика — самая высокая. К тому же нужно платить за PUT/GET-запросы. Подходит для хранения бэкапов больших размеров: резервные копии используются редко — при восстановлении, зато стоимость хранения данных самая низкая.

RackSpace Cloud Storage привлекает отсутствием платы за запросы. Вы платите за хранение данных и за исходящий трафик. Если нужно хранить данные и производить оперативный поиск по ним, этот сервис может быть выгодным. Несмотря на отсутствие платы за запросы, стоимость хранения и исходящего трафика самая высокая. Подойдет для организации банка данных, к которому ежедневно производятся десятки тысяч запросов — за них платить не придется.

HotBox/IceBox от Mail. Ru отличаются умеренной платой за хранение данных, но низкой ценой исходящего трафика. У HotBox (используется для оперативного доступа к данным) — всего 0.8 р. за каждый гигабайт. Плата за запросы также низкая — 0.295 р. за 1000 запросов 1 типа (PUT, META, LIST) и 10000 запросов 2 типа (GET и др.). У IceBox (для «холодных» данных, например, бэкапов) стоимость хранения ниже, но выше стоимость исходящего трафика. Стоимость 1000 запросов первого типа здесь такая же, как и у HotBox, но дороже обходятся запросы второго типа — 0.59 р. за 10000 запросов.

Примеры использования объектного облачного хранилища

Резервное копирование

Первое, что приходит в голову — это резервное копирование. Учитывая, что у объектного облачного хранилища нет ограничений по размеру и низкая цена хранения данных, его можно использовать для резервного копирования.

Для важных данных желательно делать три резервных копии — две должны храниться на физических дисках в офисе, а одна — вне офиса. Самый простой способ хранить данные вне офиса — это использовать облако.

Ранее мы уже писали о резервном копировании в облако посредством сервисов HotBox/IceBox, поэтому не будем останавливаться на этом примере подробно.

Цифровые архивы и библиотеки

Объектные cloud storage отлично подходят для создания цифровых архивов, банков данных, библиотек. В этом случае ведь нужно хранить файлы и производить быстрый поиск по ним, а здесь как раз приходит на выручку возможность создания пользовательских метаданных.

Аварийное восстановление

Современные средства аварийного восстановления поддерживают объектные облачные хранилища, поэтому вам не придется сначала копировать бэкап на физический носитель, а уже с него производить восстановление. Автоматизация аварийного восстановления сокращает время возможного простоя.

Хранение объемных файлов

Системы видеонаблюдения могут генерировать файлы очень большого размера, которые нужно где-то хранить. Объектное облачное хранилище может стать идеальным средством для хранения таких файлов: дешевое хранение, нет оплаты за входящий трафик, быстрый поиск благодаря пользовательским метаданным.

Банки изображений

Банки изображений — еще один пример облачного хранилища. Здесь можно хранить изображения, организовать поиск по ним.

Объектные облачные хранилища подходят для разных задач. Они не просто служат примером безразмерного диска, но и удешевляют хранение данных и автоматизируют их обработку.

Публичное облако

Публичное облако позволяет быстро расширить ИТ-инфраструктуру без значительных вложений в модернизацию оборудования.