Зачем бизнесу нужно DWH и как обосновать необходимость проекта? Можно ли оценить окупаемость хранилища данных?

Многочисленные данные в компании, как правило, хранятся разрозненно. Доступ к информационным системам ограничен в зависимости от подразделения и задач. Данные о финансовых результатах и налогах, например, доступны только бухгалтерии, а информация о маркетинговых акциях важна, в первую очередь, для работы отдела маркетинга.

Но, прежде чем визуализировать и анализировать данные, их необходимо сделать доступными для аналитиков: объединить, структурировать, очистить от ошибок. При этом для эффективного анализа и планирования будут полезны исторические данные за несколько лет.

Объединить и организовать данные поможет корпоративное хранилище данных (Data Warehouse, DWH, КХД).

Проекты внедрения DWH относятся к трудоемким и всегда требуют вложений, стоимость проектов начинается от 1,5 млн руб*. 

К проекту необходимо привлекать системных аналитиков, архитекторов DWH, разработчиков, DevOps, дата-инженеров. Кроме затрат на ФОТ, нужны бюджеты на инфраструктуру и технологии, так как готового решения DWH из "коробки" не существует.

Как при таких затратах аргументировать для бизнеса необходимость внедрения DWH? Какие бизнес-задачи может решить хранилище данных? Можно ли оценить окупаемость и эффективность внедрения? Читайте в статье.

Data Warehouse (DWH, корпоративное хранилище данных, КХД) – это централизованное хранилище, где собираются и обрабатываются бизнес-данные.

• DWH объединяет данные из разных источников, например баз данных, информационных систем, табличных файлов, API
• Все данные очищаются, обогащаются, структурируются и организуются так, чтобы их было удобно анализировать
• Данные становятся доступны для анализа в любое время, что позволяет командам быстро получать различные отчеты и проводить аналитику, а значит, принимать обоснованные решения на основе фактов

В отличие от обычных баз данных, ориентированных на управление транзакционными данными и поддержку приложений, КХД обеспечивают необходимую для продвинутой аналитики производительность и глубину хранения данных.

DWH позволяет хранить и текущие, и исторические данные без потери их качества.

• Легкая интеграция данных

Разрозненность данных из CRM, ERP, Excel, внешних баз данных затрудняет их агрегацию и анализ. Появление новых систем, процессов, видов деятельности, динамика слияний и поглощений усугубляют ситуацию.
КХД объединяет данные из различных источников, что обеспечивает оперативный и упрощенный доступ к актуальной и надежной информации.

• Повышение качества и ценности данных

Предварительная обработка в ходе ETL/ELT-процессов в DWH помогает очистить данные от ошибок и дубликатов, тем самым снизить трудозатраты на дублирование и многократный повторный ввод данных.
Хранилище позволяет отсеять все лишние данные, которые не нужны для дальнейшего анализа, так как в него загружаются агрегированные значения строго из необходимых источников.
Качественные, структурированные и актуализированные данные обеспечивают качественный анализ и отчетность.

• Безопасность данных

КХД функционирует отдельно от оперативных БД и не нагружает другие информационные системы. Аналитики могут решать сложные задачи и работать сразу с большим количеством данных без потери производительности и риска повлиять на критически важные для бизнеса данные.
Это особенно важно для больших компаний с многочисленными департаментами, проводящих операции с персональными или финансовыми данными. Например, для компаний из банковского или страхового сектора.

• Демократизация данных и возможности self-service для пользователей

Демократизация данных - парадигма, при которой данные легко доступны всем пользователям, а не только руководителям, что исключает узкие места в аналитике.
DWH в связке с современным BI предоставляет очищенные, актуальные данные и возможности самообслуживания (self-service), при которых любой конечный пользователь может самостоятельно получить нужные ему данные и создавать отчеты на их основе.

• Своевременный доступ к данным и принятие решений

DWH хранит такие исторические данные о продажах, производстве, запасах, логистике и прочих направлениях деятельности, которых уже может не храниться в операционных БД. Это позволяет в любой момент исследовать данные и пересмотреть стратегии бизнеса.
Ранее, например, для выяснения причины повышения затрат, аналитику приходилось скачивать Excel-файлы из ERP, 1С, бухгалтерской отчетности и составлять вручную отчеты. Вместо того, чтобы своевременно предпринять действия, руководство ожидает отчеты, а проблема усугубляется.
С появлением DWH все нужные данные уже агрегированы и передаются в BI, где наглядно представлены в виде визуализаций. Для решения бизнес-задачи руководителю необходимо только сделать выводы на основе готовых дашбордов.

• Поиск скрытых возможностей и инноваций

DWH может помочь выявить новые возможности для роста и развития бизнеса.
Использование исторических данных позволяет проводить продвинутую аналитику данных. Например, предсказательный (предиктивный) анализ, направленный на прогнозирование будущих тенденций.
В предписательной аналитике, позволяющей разработать конкретные шаги для повышения эффективности и смоделировать сценарии, используется ИИ и ML. Источниками данных для алгоритмов машинного обучения становится слой аналитических витрин в корпоративном хранилище.
Кроме того, DWH легко масштабируется в соответствии с изменениями в бизнесе и объеме данных, что позволяет запускать проекты Big Data и Data Science.

• Рост доверия к данным и аналитике

DWH исключает влияние человеческого фактора, обеспечивая актуальность, полноту и непротиворечивость данных за счёт надёжности источника при формировании отчётности.
Более точные и полные отчеты повышают доверие к данным среди внутренних и внешних стейкхолдеров.
Руководители обращаются к аналитике, чтобы находить скрытые взаимосвязи, оптимизировать процессы и принимать более взвешенные решения на основе фактов, а не интуиции.

Нестабильная экономическая ситуация заставляет компании сокращать затраты на внедрение технологий и тщательно рассчитывать эффективность инвестиций в бизнес-аналитику.
Реализация проекта DWH требует обоснования для выделения немалых бюджетов.

Для оценки эффективности проекта необходимо учитывать затраты на внедрение и эксплуатацию хранилища, а также выгоды, полученные от внедрения. При грамотном подходе к внедрению выгоды от хранилища данных всегда значительно превышают его стоимость.

По данным исследований IDC, ROI от внедрения инструментов аналитики на базе хранилищ данных может достигать 417% за 5 лет, а средний срок окупаемости решений составляет менее года.

Первоначальные затраты на внедрение хранилища данных варьируются в зависимости от задач конкретного бизнеса.

Также необходимо учитывать, что совокупная стоимость владения (total cost of ownership,TCO) хранилищем данных всегда выходит за рамки первоначальной стоимости реализации. В процессе внедрения изначальные цели могут измениться, и бизнес может принять решение о масштабировании проекта, например, на отделы маркетинга, продаж или производства. Кроме того, годовые затраты на поддержку и обслуживание хранилища данных часто составляют от 40% до 60% от стоимости его внедрения.

Перечислим основные факторы, из которых складывается стоимость проекта КХД:

• Количество и тип источников данных

Необходимо ли подключать внутренние или внешние источники, однотипные ли источники (например, ERP-системы разных подразделений) или разнообразные (от стандартных пользовательских приложений до устройств IoT)

• Разнообразие типов данных

Какие данные нужны: структурированные, полуструктурированные или неструктурированные данные, поступают ли они в запланированные интервалы времени или хаотично

• Специфика обработки данных

Нужна ли потоковая (массовая) обработка данных в реальном времени или пакетная (частями) обработка данных в заявленные интервалы

• Выбранная архитектура и стек

Каждое хранилище данных уникально, выбор методологии и инструментов для проектирования зависит от задач компании, количества пользователей, источников данных в компании, перспектив их роста, а также финансовых возможностей

• Требования к отказоустойчивости, масштабируемости и доступности

Например, планируется ли увеличение объема данных и какое, потребуются ли механизмы резервного копирования и какая нужна частота резервного копирования, какие механизмы переключения при отказе, системы мониторинга и оповещения будут использоваться


Также при расчете стоимости DWH учитываются:

• Требования к сложности BI-аналитики, визуализации и отчетности
• Текущее и планируемое количество пользователей, и разнообразие их ролей
• Формат развертывания (локально или в облаке)
• Требования к безопасности данных и соблюдению регламентов
• Заработная плата внутренних и внешних специалистов, участвующих в проекте
• Затраты на обучение сотрудников
• Расходы на будущую техническую поддержку и обновление системы

Сложность оценки выгод от внедрения корпоративных хранилища данных состоит в том, что само КХД не обеспечивает финансовых поступлений. Возврат от инвестиций в хранилище происходит через повышение качества и эффективности процессов, которые DWH поддерживает.

Неочевидная цепочка выгод зачастую и вызывает переживания у топ-менеджмента. Из-за этого решения по реализации проектов DWH принимаются тяжелее, чем, например решения о покупке лицензий прикладного ПО.

Выгоды от внедрения DWH делятся на материальные и нематериальные.

Выделение уникальных конкурентных преимуществ компании, повышение качества взаимоотношений с акционерами, принятие своевременных управленческих решений – все это составляет нематериальные выгоды от проекта.
Материальные выгоды можно измерить в денежном эквиваленте, а нематериальные трудно поддаются количественной оценке, но они способны подкрепить мотивацию стейкхолдеров к внедрению DWH.

Примеры измеримых выгод:

В результате анализа данных можно прийти к выводу об изменении стратегии маркетинга или продаж: поиску новой целевой аудитории, расширению портфеля продуктов и услуг, разработке новых рекламных кампаний.

Качественные данные помогают контролировать затраты в разных отраслях и областях деятельности.

Самым очевидным изменением станет сокращение времени анализа данных и повышение эффективности работы аналитиков.  DWH в связке с BI сокращает время отклика на запрос и повышает производительность, что особенно важно для сложных аналитических запросов и отчетов.

Одно производительное, масштабируемое, гибкое корпоративное хранилище данных может заменить разрозненные устаревшие базы данных и комплексы инструментов, которые ранее выполняли функции КХД.

Оптимизация имеющихся решений для аналитики и перераспределение нагрузки ИТ-специалистов, которые обслуживают эти решения, приведет к экономии расходов на ИТ.

Корпоративное хранилище данных — это не просто новая технология, а стратегический актив для любой современной компании.
Для того, чтобы проект принес 100% эффективности, стоит обратиться за реализацией к экспертам с опытом внедрения DWH.

Команда Qlever имеет опыт проектирования и внедрения корпоративных хранилищ данных для разных отраслей: ритейла, фудритейла, производства, энергетики. Мы заинтересованы в качественной работе и долгосрочном сотрудничестве, поэтому для каждого клиента индивидуально определяем бизнес-цели проекта и выбираем инструменты для проектирования DWH.

Вот как еще Qlever может помочь сократить затраты на внедрение DWH без потери эффективности хранилища: