Data Warehouse (DWH)

Data Warehouse (DWH, корпоративное хранилище данных, КХД) – единый репозиторий структурированных данных для построения бизнес-аналитики и аналитических отчётов.

В DWH данные поступают из информационных систем, баз данных и других источников: CRM, ERP, кассовых систем, систем бухгалтерского учета и т. д., и хранятся в подробной или агрегированной форме. Отчетность, которая строится на данных хранилища, может быть управленческой, финансовой, регуляторной или аналитической.

Современная бизнес-аналитика в сочетании с единым хранилищем данных открывает новые возможности для управления бизнесом.

От SQL-СУБД, Data Lake и Data Mart хранилище отличается следующими критериями:

• Типы хранимых данных

Обычные базы данных хранят данные строго для определенных подсистем, DWH хранит данные, преобразованные для разных подразделений.

• Объемы данных

Стандартная БД содержит только актуальную информацию, нужную в данный момент для функционирования определенной системы. КХД сохраняет исторические данные и агрегированные значения.

• Место в рабочих процессах

Информация обычно сразу попадает в рабочие базы данных, а уже оттуда выборочно в DWH. DWH отражает состояние других баз данных и процессов в компании уже после того, как вносятся изменения в рабочих базах.

В отличие от традиционной базы данных, DWH обычно имеет трехуровневую архитектуру:

• Нижний уровень - одна или несколько БД, которые содержат данные, извлеченные из разных источников, например, из транзакционных баз данных
• Средний уровень - содержит сервер OLAP для преобразования данных в структуру, подходящую для последующего анализа и сложных запросов
• Верхний уровень - клиентский, содержащий приложения для анализа, визуализации и отчетности

Одна из распространенных моделей проектирования хранилища представляет собой многоуровневую (слоеную) структуру LSA – Layered Scalable Architecture, и обычно содержит в себе:

• Стейджинг, или операционный слой первичных данных, (Primary Data Layer)
• Ядро (Core Data Layer)
• Слой витрин данных (Data Mart Layer)
• Сервисный слой (Service Layer)

Слой хранения сырых данных, на котором выполняется их загрузка из различных источников в исходном качестве с сохранением истории изменений. Задача слоя – отделить последующие слои хранилища от физического устройства источников данных, способов забора данных и методов выделения дельты изменений.

Центральный компонент, в котором вся разрозненная информация приводится к единым структурам и ключам. Именно этот компонент хранилища обеспечивает качество данных, их целостность и полноту.

Основные подслои ядра:

• ODS (Operational Data Store) – хранилище оперативных данных, которые используются для построения отчетности в реальном времени, оповещений о проблемах на основе метрик и других операций. Используется, когда необходимы самые актуальные данные, но не требующие ретроспективы.
• DDS (Detail Data Store) - хранилище максимально детализированных для источников данных, где форматы данных преобразованы к единому виду, а исходные данные обогащаются данными из системы.

Набор структурированных данных, удобных для анализа и использования в дашбордах или других системах-потребителях. Как правило, витрины собирают данные из ядра. Витрины обеспечивают разные представления единых данных под конкретную бизнес-специфику и задачу. Также витрины могут использоваться в качестве мастер данных, например, таких как справочники.

Обеспечивает управление всеми вышеописанными уровнями, осуществляет мониторинг данных и оперативное устранение ошибок. Он не содержит данных, но оперирует структурами для работы с качеством данных. Сервисный слой позволяет выполнять сквозной аудит данных (data lineage), использовать общие подходы к выделению дельты изменений и управления загрузкой. Также в слой включаются инструменты для алертинга (alerts), логирования (logging), оркестрации, cтруктурирования и описания данных (data catalog).

• Системы бизнес-аналитики

Внедрение корпоративного хранилища позволяет хранить и использовать единый набор данных для анализа и визуализации в BI

• Data Mining

Хранение текущих и исторических данных в едином источнике помогает найти скрытые закономерности и спрогнозировать события

• Машинное обучение

Слой аналитических витрин в хранилище выполняет роль прикладных витрин данных для моделей машинного обучения

Мы внедряем хранилища данных, используя масштабируемые технологии и гибридные методологии, адаптируя лучшие практики под ваши задачи.
Архитектура DWH и инструменты для построения хранилища данных подбираются индивидуально в зависимости от целей, требований и возможностей заказчика.