15 июня 2016, 13:15

«Яндекс» открывает исходный код ClickHouse

Российский интернет-гигант рассказал о том, что опубликует исходный код ClickHouse — распределённой системы управления базами данных (СУБД), разработанной для «Яндекс.Метрики». ClickHouse способен хранить и быстро обрабатывать большие объёмы информации для создания аналитических отчётов в любых разрезах.

Cфера применения ClickHouse не ограничивается аналитикой сайтов и приложений. Технология может быть использована в телекоммуникациях, рекламе, RTB-системах и онлайн-торговле, для обработки данных мониторинга и телеметрии, а также для задач информационной безопасности. В «Яндексе» ClickHouse применяется не только в «Метрике», но и в «Маркете», «Почте», «Директе», «Вебмастере» и «Авто.ру», для бизнес-аналитики и в мониторинге инфраструктуры.

Где находится ниша ClickHouse?

Зачем кому-то может понадобиться использовать ClickHouse, когда есть много других технологий для работы с большими данными?

Если вам нужно просто хранить логи, у вас есть много вариантов. Вы можете загружать логи в Hadoop, анализировать их с помощью Hive, Spark или Impala. В этом случае вовсе не обязательно использовать ClickHouse. Всё становится сложнее, если вам нужно выполнять запросы в интерактивном режиме по неагрегированным данным, поступающим в систему в реальном времени. Для решения этой задачи, открытых технологий подходящего качества до сих пор не существовало.

В рамках той достаточно узкой ниши, в которой находится ClickHouse, у него до сих пор нет альтернатив. В рамках более широкой области применения, ClickHouse может оказаться выгоднее других систем с точки зрения скорости обработки запросов, эффективности использования ресурсов и простоты эксплуатации.

Серверы, подключённые к ClickHouse, могут находиться в разных местах, причём архитектура системы такова, что для добавления новых серверов не нужно перестраивать кластер. Поэтому ClickHouse легко масштабируется и позволяет хранить записи о триллионах событий — например, о действиях пользователей на сайте, о запросах к сервису или о показах рекламы. Система опробована на реальных задачах высоконагруженных сервисов «Яндекса» и постоянно развивается.

#b7b7b7; font-weight: normal; font-style: normal; font-variant: normal; text-decoration: none; vertical-align: baseline; background-color: transparent;">Алексей Миловидов

#000000; font-weight: bold; font-style: normal; font-variant: normal; text-decoration: none; vertical-align: baseline; background-color: transparent;">Руководитель группы разработки ClickHouse

«Открытых СУБД с такими возможностями на рынке сейчас нет. Публикация исходного кода ClickHouse — это наш вклад в open-source, один из самых значимых в истории компании. У нас было несколько причин для этого, в том числе и чисто прагматических. Применение технологии в областях, которыми Яндекс не занимается, помогает шире взглянуть на её возможности. У нас, например, уже есть положительный опыт использования ClickHouse в Нсовместном проекте с ЦЕР . К тому же расширение пользовательской базы позволяет узнавать о проблемах, о которых иначе было бы трудно догадаться, и улучшать продукт».

«Яндекс» не впервые публикует исходный код своей технологии. Среди прочего, в открытом доступе находятся предназначенный для нагрузочного тестирования «Яндекс.Танк», технология разработки сайтов БЭМ и инструмент для извлечения структурированных данных из текста «Томита-парсер».

#959595;">Если вы хотите подсказать нам новость, отправьте намек на почту редактору #959595;">jk@cossa.ru#959595;"> (а вот пресс-релизы в этот раздел отправлять не нужно). Если вы стесняетесь, можете прислать новость анонимно.