•  
  • website icon
Связаться
    •  
  • website icon
Связаться
    •  
  • website icon
Связаться
СТРОИТЕЛЬНАЯ КОМПАНИЯ ГАЛС-ДЕВЕЛОПМЕНТ

От 5 разрозненных систем к единому DWH: как Qlever Solutions создали корпоративное хранилище данных для «Галс-Девелопмент»

  • В рамках пилотного проекта специалисты Qlever Solutions создали корпоративное хранилище, объединив данные из 5 источников. В DWH сформировано 11 аналитических витрин, а архитектура рассчитана на одновременную работу до 50 пользователей и дальнейшее масштабирование.

Кратко о проекте

Клиент
Строительная компания «Галс-Девелопмент», один из крупнейших застройщиков элитной недвижимости Москвы.
Задача
Развернуть масштабируемую архитектуру корпоративного хранилища данных. Создать технологическую основу для автоматизации управленческой отчетности и развития бизнес-аналитики, обеспечив руководство актуальными и согласованными данными для принятия решений.
Решение
Команда Qlever Solutions спроектировала и внедрила DWH, реализовав аналитические витрины, охватывающие ключевые направления деятельности компании, в том числе:

  • календарно-сетевое планирование (КСГ) проектов;
  • контроль выполнения планов продаж;
  • оценку эффективности и рентабельности проектов;
  • анализ окупаемости и освоения инвестиционного бюджета;
  • финансовую аналитику (доходы, расходы, задолженность, средства на эскроу-счетах);
  • структуру собственности;
  • технико-экономические показатели объектов;
  • управление проектными согласованиями;
  • … и другие ключевые показатели деятельности.
Результат
В результате «Галс-Девелопмент» получила единую среду для работы с корпоративными данными. Автоматизация их консолидации, очистки и сопоставления сократила объем ручной обработки и обеспечила подразделения компании согласованными показателями для подготовки управленческой отчетности и принятия решений.

О клиенте

  • «Галс-Девелопмент» — один из крупнейших российских девелоперов жилой и коммерческой недвижимости бизнес-, премиум- и элитного класса.

    Компания реализует масштабные проекты комплексной жилой и коммерческой застройки. В портфель входят более 44 проектов общей площадью 3,7 млн кв. м, включая 5 жилых комплексов, находящихся в продаже. В компании работает свыше 650 сотрудников.

    Среди наиболее известных объектов — «Невская Ратуша» в Санкт-Петербурге, бизнес-центры «Искра-Парк» и «Даниловский Форт», а также жилые комплексы «Монблан» и «Космо 4/22» в Москве.

Задача клиента

  • Для управления масштабными портфелями проектов девелоперские компании используют множество специализированных информационных систем, интеграция которых в единое аналитическое пространство зачастую становится сложной задачей.

    В компании «Галс-Девелопмент» финансовый учет велся в 1С, календарно-сетевое планирование — в Microsoft Project, управление взаимоотношениями с клиентами — в Microsoft Dynamics CRM. Дополнительно использовались Excel-файлы и данные внешних сервисов, получаемые через API.

    Хранение данных осуществлялось на сетевых дисках, а доступ пользователей к показателям по продажам, финансам и проектной деятельности предоставлялся через кластеры виртуальных серверов.

    Существующая BI-отчетность на базе решения клиента охватывала ключевые направления деятельности компании, включая:

    • выполнение календарно-сетевых графиков (КСГ) проектов;
    • финансовое моделирование и экономическое планирование;
    • стоимость и реализацию объектов недвижимости;
    • финансовые показатели проектов;
    • доходы и расходы;
    • освоение инвестиционного бюджета;
    • бухгалтерскую отчетность;
    • технико-экономические показатели;
    • цены реализации объектов;
    • сроки согласования документов в 1С.

    Несмотря на развитый ИТ-ландшафт, данные оставались распределенными между различными системами, что затрудняло формирование единой управленческой картины бизнеса и подготовку отчетности:

    • отсутствовала единая корпоративная модель данных;
    • одинаковые показатели рассчитывались независимо в разных информационных системах;
    • консолидация данных требовала значительного объема ручной обработки.

    Для решения этих задач компания запустила проект по созданию корпоративного хранилища данных. DWH должно было объединить данные из всех ключевых источников и стать технологической основой для дальнейшего развития BI-аналитики и отчетности Группы компаний.

    Проект для «Галс-Девелопмент» был реализован командой Qlever Solutions — экспертом в области построения корпоративных хранилищ данных (DWH) для крупных строительных, промышленных, торговых и производственных компаний.

    Так как подобный проект был первым для Группы, было принято решение реализации в формате пилота, но с соблюдением разумной ресурсной избыточности и регулярности выгрузки наборов данных для формирования отчетов в BI.

Реализация проекта

  • Проект был организован поэтапно. Работу начали с обследования текущего ИТ-ландшафта, после чего спроектировали архитектуру DWH, настроили интеграцию источников и сформировали аналитические витрины.
  • Предпроектное обследование
    На первом этапе специалисты Qlever Solutions совместно с заказчиком выполнили анализ существующего ИТ-ландшафта и бизнес-процессов.

    По результатам обследования были:

    • определены источники данных;
    • разработана целевая архитектура корпоративного хранилища данных;
    • сформирована единая корпоративная модель данных;
    • подготовлено техническое задание;
    • определен состав аналитических витрин, реализуемых в рамках пилотного проекта.

    Перед командой Qlever Solutions стояло несколько взаимосвязанных задач:

    • интеграция нескольких принципиально разных типов источников данных;
    • построение масштабируемой промышленной архитектуры DWH для последующего развития корпоративной аналитики;
    • разработка единой корпоративной модели данных;
    • подготовка витрин по финансам, продажам, проектной и инвестиционной деятельности.
  • Архитектура и стек DWH
    В рамках проекта была развернута отказоустойчивая архитектура DWH на базе современных инструментов обработки и хранения данных:

    • Хранение данных: ClickHouse Cluster.
    • Оркестрация процессов загрузки и обработки данных: Dagster.
    • Мониторинг и алертинг: Prometheus + Grafana.
    • Каталог данных: OpenMetadata.
    • Трансформация данных (Data Processing): dbt.
    • Вспомогательные технологии: S3 (MinIO), Gitlab, Ansible.
  • Архитектура обеспечивает отказоустойчивость, высокую производительность обработки аналитических запросов, централизованный мониторинг инфраструктуры и возможность дальнейшего масштабирования корпоративного хранилища данных.
  • Интеграция источников данных
    Источниками данных для корпоративного хранилища стали

    • Корпоративная информационная система управления финансовыми процессами 1С: Предприятие (КИС Бухгалтерия);
    • Система управления календарно-сетевыми графиками проектов (ИСУП КСГ) на базе MS Project и модулей заказной разработки;
    • Кастомизированная CRM-система на базе MS Dynamics;
    • Платформа для управления строительством Sarex;
    • Файлы Excel, хранящие технико-экономические показатели проектов (ТЭП), планы продаж, таблицы мэппинга и смежные наборы данных.

    Для каждого источника был реализован собственный механизм интеграции:

    1С: Предприятие

    Экстрактор 1С от Денвик Аналитика

    Microsoft Project

    ODBC / MS SQL

    Microsoft Dynamics CRM

    ODBC / MS SQL

    Sarex

    REST API

    Excel

    SMB-сетевые каталоги


    Дополнительным вызовом стала унификация мастер-данных. Различные информационные системы использовали собственные классификаторы объектов, поэтому в рамках проекта были разработаны корпоративные справочники и реализованы мероприятия по повышению качества данных.

    Для обработки данных были построены все основные слои корпоративного хранилища:

    • Staging — слой загрузки исходных данных;
    • DDS — слой очищенных и нормализованных данных;
    • Data Mart — аналитические витрины.
  • Формирование аналитических витрин
    Финальным этапом разработки стало построение 11 витрин данных, охватывающих ключевые направления деятельности компании:

    1. КСГ проектов — выборка информации по КСГ (календарно-сетевому графику) проектов: задачи, сроки, пользовательские поля.
    2. План-факт реализации КСГ проектов — связывает работы по проектам из календарно-сетевых графиков с расчетными и статистическими показателями финансовых данных из 1С.
    3. Объекты продаж — информация об объектах продаж и финансовые данные по лотам (цена кв метра, плановая стоимость, фактическая стоимость и т. д).
    4. План-факт продаж — плановые и фактические данные по динамике продаж объектов.
    5. Свод ключевых показателей финансовой модели — основные метрики для оценки эффективности, сроков окупаемости и рентабельности инвестиций в разрезе проектов, что позволяет оценить их привлекательность и риски.
    6. Динамика ключевых показателей — отражение плановых/фактических показателей и структуры доходов/расходов по проектам.
    7. План-факт освоения инвестиционного бюджета — данные об освоении бюджета в разрезе проектов, статей, договоров и контрагентов в виде расчетных величин определенных плановых показателей.
    8. Финансы — оперативное отражение актуальных остатков на каждый день денежных средств, задолженностей, средств на эскроу-счетах и других данных в разрезах организаций, по которым ведется бухгалтерский учет и которые отсутствуют в основном регистре бухгалтерии.
    9. Доля владения — распределение долей собственности между акционерами и учредителями компании.
    10. ТЭП (технико-экономические показатели) проектов с КСГ — площадь и количество объектов в моменте с разбивкой на фазы проектирования и строительства.
    11. Проектные согласования — статус и динамика согласований по пакетам документации в рамках рабочих процессов проектов.

    В процессе реализации параметры отдельных витрин уточнялись совместно с заказчиком, что потребовало гибкого управления изменениями и адаптации моделей данных без изменения базовой архитектуры решения.
  • Ограничения инфраструктуры
    По требованиям информационной безопасности «Галс-Девелопмент» все работы выполнялись в закрытом контуре клиента, а используемые для разработки данные были обезличены.

    Доступ к информационным системам организовывался через отдельный сегмент сети с использованием DMZ-серверов. Развертывание и настройка компонентов корпоративного хранилища данных также выполнялись на выделенных серверах в DMZ-контуре с разграничением прав доступа.

    Доступ к данным и приложениям предоставлялся с использованием защищенных механизмов аутентификации — двухфакторной авторизации (2FA) и сквозной авторизации на основе JWT-токенов.

    Архитектура и процесс развертывания были адаптированы к закрытому контуру без снижения требований к безопасности и производительности решения.

Полученные результаты

  • Несмотря на пилотный формат, DWH было спроектировано с учетом дальнейшего развития, подключения новых источников и расширения аналитического контура компании.

    В ходе проекта специалисты Qlever Solutions:

    • интегрировали 5 различных типов источников данных;
    • разработали 11 предметных аналитических витрин;
    • построили промышленную архитектуру корпоративного хранилища данных (DWH);
    • внедрили систему мониторинга и каталогизации данных;
    • настроили ролевую модель доступа к таблицам и аналитическим витринам;
    • выполнили комплексное тестирование всех слоев хранилища и витрин данных;
    • подготовили полный комплект эксплуатационной и технической документации для администраторов и пользователей системы.
  • Производительность и масштабируемость
    Готовое хранилище данных отвечает требованиям крупной корпоративной информационной системы и рассчитано на дальнейшее масштабирование.

    Основные характеристики DWH:

    • до 50 одновременных пользователей;
    • время отклика аналитических витрин — не более 5 секунд;
    • объем хранимых данных — около 2 ТБ с горизонтом хранения 5 лет;
    • ежедневная загрузка данных — порядка 1,2 ГБ;
    • архитектура предусматривает прогнозируемый рост объема данных до 5 ТБ в перспективе 10 лет.
  • Бизнес-результаты
    Аналитические витрины предназначены для работы руководителей различных уровней, включая:

    • топ-менеджмент Группы компаний «Галс»;
    • руководителей строительных проектов;
    • руководителей инвестиционных проектов;
    • коммерческий департамент;
    • финансовый департамент;
    • инженерные подразделения.

    Созданное DWH изменило подход к работе с данными: их консолидация, очистка, актуализация и сопоставление выполняются централизованно, исключено влияние человеческого фактора при формировании отчетов.

    В результате «Галс-Девелопмент» получила возможность:

    • автоматизировать подготовку аналитической отчетности, объединяющей данные из нескольких информационных систем с различной структурой;
    • сократить объем ручной обработки данных за счет автоматизации процессов консолидации, очистки, актуализации и мэппинга;
    • уменьшить нагрузку на информационные системы-источники благодаря централизованной обработке данных вне рабочего контура;
    • создать единую версию корпоративных данных для различных подразделений компании;
    • заложить технологическую основу для масштабирования BI-аналитики, подключения новых источников данных и развития корпоративной платформы.
“
Корпоративное хранилище данных — это фундамент для дальнейшего развития аналитики. В проекте для «Галс-Девелопмент» нам было важно не только объединить данные из разных источников, но и создать масштабируемую систему для управления портфелем проектов, которая сможет расти вместе с бизнесом. Выбранный подход позволяет подключать новые источники и расширять аналитический контур без необходимости перестраивать хранилище.
Андрей Харлак, технический директор Qlever Solutions
“
Для нас было важно проверить выбранную архитектуру на практике и создать единую платформу для работы с корпоративными данными. Пилотный проект показал, что хранилище позволяет эффективно консолидировать данные из разных систем и обеспечивает необходимую производительность для аналитических задач. Созданная платформа станет основой дальнейшего развития управленческой отчетности компании.
Давид Удовицкий, начальник отдела развития платформы данных «Галс-Девелопмент»

Источники и стек технологий

    • Источники данных: 1С: Предприятие, Microsoft Dynamics CRM, Microsoft Project, Sarex, Microsoft Excel
    • Интеграция данных: Экстрактор 1С от Денвик Аналитика, Python, REST API
    • Хранение данных: ClickHouse
    • Оркестрация процессов загрузки и обработки данных: Dagster
    • Мониторинг и алертинг: Prometheus + Grafana
    • Каталог данных: OpenMetadata
    • Обработка данных (Data Processing): dbt
    • Вспомогательные технологии: S3 (MinIO), Gitlab, Ansible

Функциональные области

  • Основные направления аналитики: Управление строительными проектами, Продажи и коммерческая аналитика, Финансовая аналитика, Инвестиционная аналитика, Управление портфелем проектов, Технико-экономическая аналитика, Проектные согласования

    Пользователи решения: Топ-менеджмент

Данные и отчеты работают против вас?

Свяжитесь с нами. Наведем порядок в данных, спроектируем и внедрим DWH в соответствии с вашими аналитическими задачами
ОБСУДИТЬ ЗАДАЧИ