Что такое DWH (КХД) и как работает корпоративное хранилище данных

В статье рассказываем, что такое DWH и как работает корпоративное хранилище данных. Даем краткий алгоритм внедрения и описываем преимущества: что получает бизнес, используя DWH.

В большинстве компаний ведется учет всех данных, необходимых для принятия решений, но они хранятся в разных системах. При необходимости аналитики или отчетности возникают сложности:

• Ручной сбор данных отнимает время и не исключает ошибок
• Не все данные подходят для аналитики - их надо актуализировать, очистить, обогатить
• Хранение исторических данных в операционных БД нецелесообразно, теряется часть важной информации
• Готовые отчеты нужно ждать, и бизнес не может принимать своевременные решения на их основе

DWH решает проблемы сбора, хранения и быстрой доставки в BI как текущих, так и архивных данных компании.

2. С помощью процессов ETL (Extract, Transform, Load) и ELT (Extract, Load, Transform) данные извлекаются из источников, очищаются, преобразуются и загружаются в DWH

3. В хранилище данные приводятся к единой структуре, связываются между собой и формируются в витрины данных (data marts) - срезы данных, ориентированные на конкретную задачу бизнеса

4. Подготовленные данные становятся доступными для BI-аналитики, отчетности, а также используются в ML, AI и других data-проектах

Корпоративные хранилища данных применяются в большинстве отраслей, где важно работать с большими объемами данных и строить аналитику по разным направлениям бизнеса

Архитектура DWH описывает, как устроено хранилище: какие уровни в нем есть, как данные движутся от источников к потребителям, и какие сервисы обеспечивают эти процессы.

Многоуровневая (слоеная) архитектура LSA – Layered Scalable Architecture — это развитие классической трехуровневой модели до конкретных слоев данных.

LSA содержит в себе:

• Стейджинг и слой первичных данных (Staging / Primary Data Layer)

На стейджинге данные временно приземляются из источников «как есть», в Primary Data Layer сохраняются уже с историей изменений. Структура повторяет источник — без преобразований.

• Операционный слой (ODS, Operational Data Store)

Опциональный слой между источниками и ядром. Содержит очищенные и интегрированные оперативные данные. Используется, когда бизнесу нужна near-real-time отчетность по операционным процессам.

• Ядро хранилища (Core Data Layer)

Центральный слой DWH, в котором данные приводятся к единой системе ключей и атрибутов, обогащаются и сохраняются с историей. Здесь обеспечивается целостность, полнота и качество данных. Основной подслой — DDS (Detail Data Store) с максимально детализированными данными в единой модели.

• Слой витрин данных (Data Mart Layer)

Витрины данных - структурированные наборы данных, собранные под конкретные задачи бизнеса и подразделения. Именно этот слой используется для аналитики в BI.

Архитектура DWH не существует в вакууме — хранилище встраивается в более широкую инфраструктуру работы с данными компании. Концепция Unified Data Infrastructure, предложенная фондом a16z, описывает эту инфраструктуру как единую платформу, в которой DWH играет роль слоя хранения (Storage) — единой версии правды для всех потребителей данных.

Подход к проектированию определяет, как именно смоделированы данные внутри хранилища. Выбор подхода к проектированию — это не только техническое, но бизнес-решение: от него зависят сроки реализации и стоимость дальнейшего развития DWH.

DWH строится «снизу вверх»: сначала проектируются витрины данных под отдельные бизнес-направления (продажи, маркетинг, финансы), которые затем объединяются через общие измерения (conformed dimensions) в единое хранилище. В основе — денормализованные модели «Звезда» (star) и «Снежинка» (snowflake).

Когда подходит: нужно быстро получить результат по конкретным направлениям аналитики, бизнес готов идти итеративно

Подход «сверху вниз»: сначала создаётся централизованное нормализованное хранилище на уровне всего предприятия (Enterprise Data Warehouse, EDW) в третьей нормальной форме (3NF), а уже из него формируются витрины под задачи подразделений.

Когда подходит: крупная компания с большим количеством доменов и высокими требованиями к согласованности данных, готовая инвестировать в долгий старт ради простой эволюции в будущем.

Гибридный подход, сочетающий нормализацию по Инмону с гибкостью к изменениям источников. Современный стандарт — Data Vault 2.0 — это не только модель данных, но и методология (хеш-ключи, бизнес-правила, вынесенные на уровень витрин, и встроенная аудируемость).

Модель строится вокруг трех сущностей:

• Hub — бизнес-объекты (клиенты, заказы)
• Link — связи между объектами (например, факт оформления заказа клиентом)
• Satellite — атрибуты и история изменений

Когда подходит: Много источников, схемы которых регулярно меняются; высокие требования к историчности и аудируемости (банки, телеком, госсектор).

Подробнее о проектировании DWH →

DWH как централизованная система состоит из программных компонентов, каждый из которых отвечает за процессы обработки данных: загрузку из источников, трансформацию, хранение, подготовку к аналитике и т. д.

Обычно DWH строится на open-source стеке, так как такие инструменты дают необходимую для сложной аналитической системы гибкость, масштабируемость и сокращение затрат.

Данные не появляются в DWH сами по себе — за наполнение корпоративного хранилища отвечают ETL и ELT-процессы. Они позволяют автоматизировать поток данных и исключить их ручной сбор и обработку.

При таком подходе данные сначала извлекаются, затем трансформируются и только после этого загружаются в хранилище. Подход характерен для классических DWH, где важно контролировать качество данных до загрузки.

Данные сначала загружаются в хранилище, а затем обрабатываются внутри него. Подход используется в облачных платформах и хранилищах Data Lake, где есть мощные вычислительные ресурсы.

Выбор подхода и инструментов ETL и ELT зависит от требований проекта, объема данных, сложности трансформаций и доступных ресурсов. 

Подробнее об ETL/ELT-процессах → 

От обычной базы данных корпоративное хранилище отличается следующими критериями:

• Типы хранимых данных

Обычные базы хранят данные строго для определенных подсистем, DWH - данные, преобразованные для разных задач бизнеса.

• Объемы данных

Стандартная БД содержит ограниченный объем данных, необходимые в данный момент для функционирования системы. КХД сохраняет как текущие, так и исторические данные в агрегированном виде.

• Место в рабочих процессах

Информация обычно сразу попадает в рабочие базы данных, а уже оттуда выборочно в DWH. DWH отражает состояние других баз данных и процессов в компании уже после того, как вносятся изменения в рабочих базах.

Data Lake (озеро данных) — это хранилище, куда в исходном виде поступают разные типы данных: структурированные, полуструктурированные и неструктурированные (например, тексты, изображения, логи, данные датчиков).

В отличие от DWH, данные в Data Lake не приводятся к единой структуре сразу, а сохраняются «как есть», что позволяет использовать их не только для BI-аналитики, но и для задач машинного обучения, AI и работы с Big Data.

Эволюция архитектуры данных. Data Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциями →

Внедрение Data Warehouse (DWH) позволяет бизнесу создать единое, надежное хранилище данных и получить измеримый эффект:

• Единый источник правды для аналитики и отчетности
• Ускорение подготовки управленческих отчетов
• Повышение качества данных и снижение ошибок при анализе
• Возможность легко масштабировать аналитику
• Поддержка стратегических решений на основе данных

Внедрение хранилища данных — сложный проект, и ошибки на старте могут привести к значительным затратам на следующих этапах проекта.

На практике чаще всего встречаются следующие проблемы: