Google развивает сервисы аналитики и обработки “больших данных”

Google «ставит» на обработку в реалтайме «больших данных» и обновляет два из своих облачных сервисов, чтобы дать возможность крупным предприятиям следить в реальном времени, что происходит с их бизнесом и клиентами.

«Мы верим, что постоянное наблюдение за ситуацией – это то, куда мы все придем. Вместо того, чтобы смотреть на данные двухмесячной или двухлетней давности, вам более всего интересно, что происходит именно сейчас», - говорит Том Кершоу, директор по управлению продуктами облачных платформ Google.

Представьте себе компанию, создающую мобильные игры, для которой важно знать, какие из ее продуктов стали виральными. Или предприятие, очень обеспокоенное проблемами безопасности, в котором изучаются логи сервера, чтобы определить признаки различных атак на сеть компании.

Google запустил свой сервис обработки данных в реалтайме, названный Google Cloud Dataflow, ранее анонсированный год назад. Компания также добавила новые возможности в свое средство анализа BigQuery, представленное в 2010 году. Теперь, по словам Кершоу, эти два облачных сервиса теперь могут работать вместе, чтобы обрабатывать в реальном времени огромные объемы данных.

Доступный в качестве бета-версии, Google Cloud Dataflow обеспечивает возможность анализировать данные немедленно по мере их поступления из разных потоков. Google обеспечивает все вопросы, связанные с аппаратной и программной частью, пользователи могут даже не думать о каких-то вопросах инфраструктуры. Сервис также позволяет осуществлять анализ старых данных в пакетном режиме, позволяя организациям рассматривать как исторические данные, так и данные о том, что происходит именно сейчас, в едином рабочем процессе.

По словам Кершоу, этот сервис предоставляет возможность любому программисту на Java или Python написать программу, которая работает с большими данными. Сервис значительно облегчает работу с очень сложными наборами данных.

В дополнение к переводу DataFlow в режим открытой беты, Google также обновил свой сервис BigQuery.

BigQuery обеспечивает SQL-интерфейс к большим неструктурированным наборам данных. SQL стандартно используется с обычными реляционными базами данных, поэтому понимается практически всеми администраторами баз данных. С новыми обновлениями сервис теперь способен обрабатывать данные со скоростью 100 000 строк в секунду на 1 таблицу.

Компания также распространила свой сервис на Европу – данные BigQuery могут храниться на серверах в европейских дата-центрах Google, чтобы помочь организациям выполнить требования ЕС в отношении так называемого «суверенитета данных».

Также в сервис добавлены разрешения на доступ на уровне строк, это позволяет организациям защищать части данных, такие как имена или адреса, в то же время предоставляя доступ к другим частям, таким как история покупок.

BigQuery и Dataflow могут использоваться вместе, по словам Кершоу, оба сервиса очень хорошо работают в связке. «Вы можете использовать Dataflow для обработки и BigQuery для анализа», - отметил он.

По материалам CIO.com