Внедрение Data Warehouse (DWH)

Data Warehouse (DWH, корпоративное хранилище данных, КХД) – единый репозиторий структурированных данных для построения бизнес-аналитики и аналитических отчётов.

В DWH данные поступают из информационных систем, баз данных и других источников: CRM, ERP, кассовых систем, систем бухгалтерского учета и т. д., и хранятся в подробной или агрегированной форме. Отчетность, которая строится на данных хранилища, может быть управленческой, финансовой, регуляторной или аналитической.

Чем более структурированными и актуальными данными владеет компания, тем эффективнее она сможет привлекать новых клиентов, разработать новые стратегии и укреплять свои позиции на рынке.

Современная бизнес-аналитика в сочетании с единым хранилищем данных открывает новые возможности для управления бизнесом.

• Получайте отчетность быстро и в необходимой детализации
• Обеспечьте простой доступ к данным для всех бизнес-пользователей
• Принимайте эффективные решения на основе достоверной информации

От SQL-СУБД, Data Lake и Data Mart хранилище отличается следующими критериями:

• Типы хранимых данных -- Обычные базы данных хранят данные строго для определенных подсистем, DWH хранит данные, преобразованные для разных подразделений.
• Объемы данных -- Стандартная БД содержит только актуальную информацию, нужную в данный момент для функционирования определенной системы. КХД сохраняет исторические данные и агрегированные значения.
• Место в рабочих процессах -- Информация обычно сразу попадает в рабочие базы данных, а уже оттуда выборочно в DWH. DWH отражает состояние других баз данных и процессов в компании уже после того, как вносятся изменения в рабочих базах.

В отличие от традиционной базы данных, DWH обычно имеет трехуровневую архитектуру:

• Нижний уровень - один или несколько инструментов интеграции, которые извлекают данные из разных источников, например, из транзакционных баз данных
• Средний уровень - содержит сервер хранения и вычисления для преобразования данных в структуру, подходящую для последующего анализа и сложных запросов
• Верхний уровень - клиентский, содержащий приложения для анализа, визуализации и отчетности, датасеты для ML и AI, OLAP-кубы

Слой хранения сырых данных, на котором выполняется их загрузка из различных источников в исходном качестве с сохранением истории изменений. Задача слоя – отделить последующие слои хранилища от физического устройства источников данных, способов забора данных и методов выделения дельты изменений.

Центральный компонент, в котором вся разрозненная информация приводится к единым структурам и ключам. Именно этот компонент хранилища обеспечивает качество данных, их целостность и полноту. Основные подслои ядра:

• ODS (Operational Data Store) – хранилище оперативных данных, которые используются для построения отчетности в реальном времени, оповещений о проблемах на основе метрик и других операций. Используется, когда необходимы самые актуальные данные, но не требующие ретроспективы.
• DDS (Detail Data Store) - хранилище максимально детализированных для источников данных, где форматы данных преобразованы к единому виду, а исходные данные обогащаются данными из системы.

Набор структурированных данных, удобных для анализа и использования в дашбордах или других системах-потребителях. Как правило, витрины собирают данные из ядра. Витрины обеспечивают разные представления единых данных под конкретную бизнес-специфику и задачу. Также витрины могут использоваться в качестве мастер данных, например, таких как справочники.

Обеспечивает управление всеми вышеописанными уровнями, осуществляет мониторинг данных и оперативное устранение ошибок. Он не содержит данных, но оперирует структурами для работы с качеством данных. Сервисный слой позволяет выполнять сквозной аудит данных (data lineage), использовать общие подходы к выделению дельты изменений и управления загрузкой. Также в слой включаются инструменты для алертинга (alerts), логирования (logging), оркестрации, cтруктурирования и описания данных (data catalog).

Системы бизнес-аналитики
Внедрение корпоративного хранилища позволяет хранить и использовать единый набор данных для анализа и визуализации в BI

Data Mining
Хранение текущих и исторических данных в едином источнике помогает найти скрытые закономерности и спрогнозировать события

Машинное обучение (ML)
Слой аналитических витрин в хранилище выполняет роль прикладных витрин данных для моделей машинного обучения