ClickHouse как альтернатива Google BigQuery

Что общего у Spotify, eBay, Uber, VK, Яндекс и Deutsche Bank?

Все эти компании используют в своей работе ClickHouse — колоночную систему управления базами данных от Яндекса с открытым исходным кодом. В этой статье мы подробно рассмотрим плюсы и минусы ClickHouse, сравним его с Google BigQuery, а также расскажем о миграции на российскую СУБД.

Предположим, что у вас несколько больших интернет-магазинов. Перед вами стоит задача управлять огромным объемом данных — параметрами визитов всех людей, которые заходили на ваш сайт и делали заказы. Как следствие, Яндекс Метрика и Google Analytics пробрасывают примерно 140 000 000 событий в вашу базу данных в месяц. И за весь период работы у вас накопились терабайты данных.

Вообще, вы можете строить отчеты на любой системе (как платной, так и бесплатной) — вот только когда объем достигнет миллиарда строк, картина в любом случае перестанет быть радужной. Аналитические запросы в БД будут исполняться десятками минут.

Для того чтобы ускорить такие процессы, были созданы особые СУБД — колоночные.
Разумеется, в мире существуют и другие разновидности систем управления базами данных: реляционные, объектные, документные, сетевые, функциональные, их различные сочетания. Но именно колоночные обладают самой высокой скоростью работы с большими объемами информации (если сравнивать со строковыми).

ClickHouse — колоночная СУБД, которая также является реляционной. Она была создана Яндексом для того, чтобы анализировать и читать данные по множеству значений максимально быстро: во время разработки код проекта постоянно оптимизировался с приоритетом на производительность.

После релиза многие действительно были впечатлены возможностями масштабирования и скоростью работы ClickHouse. При использовании других популярных СУБД, запрос легко мог выполняться по несколько минут и пользователи уходили пить кофе. В ClickHouse же все происходило за секунды — решение от Яндекса "проглатывало" тысячи строк в секунду и петабайты данных с дисков.

Давайте разберемся, почему все это стало возможно. И сравним ClickHouse с одним из его главных конкурентов — Google BigQuery.

Это облачное PaaS решение, созданное Google еще в 2011 году. Оно позволяет обрабатывать и хранить большие массивы данных без настройки выделенного сервера. В Google BigQuery реализованы большинство функций реляционной СУБД.

Например, пользователи могут загружать большой объем табличных данных и обращаться к ним SQL-запросами. Разумеется, можно сохранять и выгружать результаты таких запросов.

А еще это составная часть Google Cloud Platform, в рамках которой вам становятся доступны несколько десятков различных дополнительных инструментов по анализу, работе с данными, визуализации и т.д.

Идея этой статьи появилась у нас еще до возникновения угрозы ухода некоторых сервисов Google с российского рынка. Мы не знаем, произойдет это или нет. Но риск законодательных ограничений на передачу данных в зарубежное облако вполне реален.

К минусам Google BigQuery также можно отнести высокую стоимость при работе с большими объемами информации. Периодически пользователи получают счета на несколько сотен долларов всего за несколько простых на первый взгляд запросов. При этом, тарифы в любой момент могут измениться и вырасти.

По карману могут ударить стриминговые вставки, обновления данных и ряд других функций.

Благодаря своим особенностям, ClickHouse реактивно отвечает на любые аналитические запросы в реальном времени. По этому параметру он обгоняет Google BigQuery и большинство других конкурентов. Вот слова Виктора Тарнавского, одного из разработчиков ClickHouse.

ClickHouse способен масштабироваться до десятков триллионов записей и петабайтов данных. Благодаря скорости эту СУБД можно легко использовать в интерактивных приложениях. Вы можете как построить систему с собственными серверами, так и воспользоваться облаком от Яндекса.

Но давайте рассмотрим плюсы и минусы подробнее:

Разумеется, Google BigQuery — это проверенная, удобная и, функциональная облачная система. Она поддерживает большинство ключевых возможностей современных СУБД. Ее неоспоримый плюс — легкая интеграция со сторонними платформами. В целом, ее можно назвать более удобной и простой для новичка.

Однако ClickHouse — это хороший выбор для масштабных в плане вычисления запросов. Чем больше запросов SELECT вы делаете на постоянной основе — тем больше смысла в миграции с BigQuery на ClickHouse. Скорее всего такая замена вполне позволит вам сэкономить. Помимо экономических аспектов, ClickHouse есть смысл рассматривать если вам необходима более высокая производительность и большая скорость масштабирования.

Другой неоспоримый плюс систем на ClickHouse — максимально полное соответствие российскому законодательству. К сожалению, прогнозировать какие последствия могут ждать российских пользователей при использовании Google BigQuery в ближайшее время достаточно сложно. На момент написания статьи уже отключена реклама Google Ads и монетизация YouTube. Мы оптимисты, поэтому искренне верим, что все будет хорошо:) Но, к сожалению, никаких гарантий этого нет.

К счастью, в Garpun Feeds есть удобный коннектор, который поможет в несколько простых шагов перейти с одной СУБД на другую. В частности, он позволяет перенести базы с Google BigQuery на ClickHouse (такие кейсы использования нашего сервиса уже есть). Одним из важных его преимуществ является то, что в большинстве случаев перенос можно осуществить без привлечения программистов за несколько кликов.

Итак, если вы хотите перейти на ClickHouse, выполните следующие шаги:

Если вам требуется собрать данные за больший период, вы можете сделать это, нажав на кнопку "Запустить поток" и выбрав нужный диапазон дат.

В большинстве случаев ClickHouse вполне можно рассматривать как достойную альтернативу Google BigQuery. Он очень быстрый и надежный. Это особенно актуально, если у вас есть большой объем данных. Неслучайно кроме Яндекса ClickHouse используют огромное количество компаний с мировым именем - от AdTech гигантов до крипто-проектов и банков. Например, ClickHouse использует Spotify, eBay, Uber, VK, Яндекс и даже Deutsche Bank.

• Если вы уже используете Google BigQuery, то просто знайте, что вы в любой момент можете поменять эту СУБД на ClickHouse. В случае, если у вас большая база данных, скорее всего это сэкономит вам деньги и время.
• Если вы уже используете Google BigQuery и у вас небольшая база данных, однозначного смысла мигрировать на ClickHouse нет. В случае кризисных обстоятельств, можно будет сменить СУБД.
• Если вы прямо сейчас находитесь в поисках хорошей СУБД - мы настоятельно рекомендуем рассмотреть ClickHouse. А если вы в принципе не уверены, что именно хотите от системы управления баз данных и какую выбрать - смело пишите нашим специалистам. Мы поможем принять оптимальное решение. ;)