Аналитика ESG: Распадская Угольная Компания сократила время подготовки экологической отчетности до 3 часов с помощью BI-дашбордов от Qlever Solutions

Разработка Системы выполнялась в инфраструктуре клиента. Совместно со специалистами со стороны клиента было выполнено создание тестовой и продуктивной сред хранилища на основе БД PostgreSQL и ClickHouse в Яндекс Облаке.

Перенос Системы между тестовой и продуктивной средами выполнялся после согласования работоспособности приложения в тестовой среде.

В качестве источника данных для Системы выступает Информационная система охраны окружающей среды ИС ООС.

Обмен данными между ИС ООС и Системой реализован через корпоративный брокер сообщений Kafka с помощью Airflow.
Потоковые данные загружаются из соответствующих топиков Kafka в stg-слой (staging) PostgreSQL.  Обработка и трансформация данных производится с помощью dbt.

Далее данные переносятся в ODS-слой (Operational Data Store - оперативное хранилище данных), где приводятся к единому формату. В MRT-слое (Data Marts – таблицы, содержащие все доступные измерения для приложения) из них формируются витрины данных для дальнейшей аналитики.

При формировании хранилища была осуществлена первичная загрузка данных за 3 года, в объеме около 7 000 строк, далее загрузка данных идет ежедневно по расписанию. Планируемая загрузка не более 3 000 строк в год.

В ClickHouse осуществляется сборка витрин на основе обработанных и структурированных данных из Kafka и Excel-файлов, после данные выгружаются в FineBI для построения дашбордов.

В ходе реализации проекта выяснилось, что из-за большого количества рассчитываемых показателей, в которых использовались DEF-функции FineBI, и отображения всех показателей на визуализациях, время отклика FineBI критически увеличилось.

Для решения задачи специалистами Qlever были разработаны отдельные витрины данных по направлениям анализа и произведены предрасчеты показателей на уровне ClickHouse, позволяющие повысить производительность Системы. Время отклика сейчас составляет менее 3 секунд.

Одним из нюансов в процессе разработки стала разница в часовых поясах с клиентом – 4 часа. Для эффективной совместной работы и согласования был перераспределены рабочие часы ключевых участников проекта со стороны Qlever.

В Cистеме в наглядном виде представлены ключевые показатели по направлениям экологической стратегии Распадской: 

• Парниковые газы 
• Выбросы в атмосферу 
• Водные ресурсы 
• Обращение с отходами 
• Рекультивация 

Всплывающие легенды на дашбордах позволяют получать всю необходимую информацию даже при большом количестве показателей, отображенных на графике, и не прибегать к другим источникам за уточнением данных. 

В дальнейших итерациях предполагается разработка визуализации показателей по направлению Биоразнообразие. 

Дашборд отображает план-факт и динамику изменений стратегических показателей компании:

• Управление углеродным следом – со счетчиком общих объемов утилизации
• Управление выбросами загрязняющих веществ в атмосферу
• Ответственное потребление и производство – со счетчиком объемов восстановленных земель
• Управление водными ресурсами

Предназначен для просмотра показателей выбросов парниковых газов как по Компании, так и по отдельным предприятиям:

• Общие объемы выбросов парниковых газов по Компании за указанный период
• Основные источники газов за отчетный период и период, предшествующий отчетному, проценты увеличения/снижения значений
• Значения выбросов газов и удельные выбросы СО2-эквивалента на тонну добытого угля за отчетный период и предшествующий период по предприятиям Компании
• План-факт по утилизации выбросов за отчетный период и аналогичный предшествующий ему период
• Предусмотрена возможность детализации данных по утилизации метана по конкретному предприятию и в разрезе месяца просмотр информации по суточной утилизации

Дашборд демонстрирует показатели выбросов в атмосферу как по Компании, так и по отдельным предприятиям: 

• Общий объем выбросов загрязняющих веществ по компании за выбранный период 
• Объем ключевых загрязняющих веществ в целом и по каждому из ключевых показателей за отчетный период и период, предшествующий отчетному 
• Проценты увеличения/снижения значений для отчетного периода по сравнению с предшествующим ему периодом 
• Выбросы ключевых загрязняющих веществ по группам предприятий: шахты, разрезы, фабрики, вспомогательные предприятия

Дашборд предназначен для просмотра данных об использовании водных ресурсов по Компании и по отдельным предприятиям:

• Объем забора свежей воды и объем использования в производстве в разрезах: скважины, реки, шахтные воды, карьерные воды, горводопровод 
• Проценты увеличения/снижения значений объема сброса в водный объект и забора свежей воды для отчетного периода по сравнению с предшествующим периодом 
• Объемы забора и сброса в разрезе отдельных предприятий Компании

Демонстрирует следующие показатели: 

• Объем отходов по компании в целом за указанный период в разрезах: прочие отходы, горные отходы, утилизировано 
• Проценты увеличения/уменьшения данных показателей в сравнении с показателями прошлого аналогичного периода 
• Объем отходов по компании в целом за предыдущий аналогичный период 
• Объем отходов и утилизации по отдельным предприятиям за указанный период 

В отчете «Классы отходов» отображаются показатели в разрезе классов отходов, за указанный период в рамках выбранного предприятия 

• Общий объем образованных отходов по предприятию 
• Общий объем утилизации по предприятию 
• Процент утилизированных отходов от общего объема отходов предприятия

Дашборд с показателями рекультивации предназначен для просмотра метрик, связанных с земельными ресурсами:

• Общая площадь земель и количество участков Компании 
• Площади земель в разрезах категорий в процентном соотношении от общей площади земель Компании: земли лесного фонда, сельскохозяйственного назначения, населённых пунктов, промышленности 
• Количество участков в разрезе категорий земель по назначению 
• Площади нарушенных, отработанных и рекультивированных земель компании, их доля от общей площади земель 
• Выполнение ежегодного плана рекультивации: 
• Бюджет на технический этап рекультивации по компании и по предприятиям 
• Бюджет на биологический этап рекультивации по компании и по предприятиям 
• Фактические и оперативные планы по компании и предприятиям для технического и биологических этапов 

В отчете «Фактическое использование земель» реализовано отображение следующих показателей: 

• Общая площадь предприятия 
• Площадь земель, которые используются 
• Площадь земель, которые не используются, но есть планы на их использование 
• Площадь земель, которые не используются и нет планов на их использование 
• Доли площадей категорий от общей площади земель предприятия в процентном выражении 

Реализован функционал для отчета «План-график по рекультивации», в котором отображается график по всем годам в двух видах - в виде диаграммы и в виде таблицы с данными.  

Для некоторых разделов предусмотрена возможность выгрузить данные в виде Excel-отчета согласно регламентированной форме. 

Одним из этапов проекта стала настройка прав доступа к дашбордам по ролям: 

• Администратор 

Управляет данными по всем дашбордам Системы: загружает их из Excel-источников, обновляет и редактирует показатели 

• Пользователь 

Может просматривать показатели по всем дашбордам Системы и формировать отчеты по заданной фильтрации 

Для настроек доступа специалистами Qlever было реализовано подключение к Active Directory с использованием плагина FineBI.