Что такое НСИ (нормативно-справочная информация) и как управлять мастер-данными

Нормативно-справочная информация (НСИ, master data, основные данные) — это справочники, классификаторы и правила, которые нормируют и систематизируют деятельность компании, многократно используются в бизнес-процессах и задают единый язык для разных информационных систем компании.

Рассмотрим пример торговой компании, которая использует несколько информационных систем: 1С для учета продаж и финансов, WMS для управления складом, CRM для работы с клиентами и отдельную систему закупок.

Операционные данные о продажах в компании постоянно меняются: сегодня продали 1000 единиц товара, завтра — 1500. Они отражают конкретные хозяйственные операции и накапливаются с каждой новой продажей. А справочник товаров, где указано, что товар 125 — это «Молоко 3,2%, 1 л», относится к нормативно-справочной информации.

При этом один и тот же товар в информационных системах может быть обозначен по-разному:


Для сотрудника компании понятно, что речь может идти об одном и том же товаре, но для информационных систем 125 и SKU-7842 — разные объекты, пока между ними не установлено соответствие. Без единой системы НСИ компания не сможет корректно сопоставить продажи, остатки и закупки одного товара.

Для решения этой задачи создается эталонная карточка товара:

• Единый ID — 10 542
• Наименование — Молоко 3,2%, 1 л
• Категория — Молочная продукция
• Подкатегория — Молоко
• Жирность — 3,2%
• Объем — 1 л
• Единица измерения — шт.
• Бренд — «Буренка»
• Штрихкод — 4 601 234 567 890

Для нее задаются соответствия между кодами разных информационных систем:

125 = SKU-7842 = PRD-156 = MLK-032−1 = FMLK321000 → единый товар ID 10 542

Теперь данные из разных источников можно корректно объединить в DWH или BI и получить достоверную информацию о товаре. Изучая BI-дашборд на основе структурированных данных, руководитель видит единую картину: сколько молока продано, сколько осталось, сколько заказано у поставщиков и каким клиентам оно предлагается.

По такому же принципу компания может вести НСИ по клиентам, поставщикам, магазинам и складам, регионам, товарным категориям, единицам измерения, каналам продаж или организационной структуре.

Состав НСИ зависит от специфики бизнеса, но чаще всего объектами данных в НСИ могут быть:


В НСИ также могут входить иерархии и связи. Например:

SKU → подкатегория → категория → товарное направление
или
магазин → город → регион → федеральный округ.

Это особенно важно для BI, потому что именно по таким иерархиям пользователь в дальнейшем анализирует показатели.

Для создания, ведения и использования нормативно-справочной информации применяются разные инструменты:

• Справочники — структурированные перечни объектов и их характеристик: товаров, клиентов, единиц измерения.
• Классификаторы — системы распределения объектов по группам, категориям и классам.
• Регламенты ведения НСИ — правила создания, изменения, согласования и удаления записей.
• Модели и шаблоны описания — обязательные атрибуты объектов и единый формат их заполнения.
• Таблицы и правила соответствий (мэппинг) — связывают разные обозначения одного объекта в информационных системах.
• MDM-системы и специализированные решения для управления НСИ — позволяют централизованно хранить и актуализировать справочники, контролировать качество данных, управлять согласованием изменений и распространять эталонные значения между системами.

Использование этих инструментов помогает поддерживать НСИ в актуальном состоянии и формировать единые правила работы с данными во всей компании.

В большинстве компаний данные создаются и хранятся сразу в нескольких информационных системах: ERP, CRM, 1С, WMS и других. Каждая система решает свои задачи и может использовать собственные справочники, классификаторы, коды и правила описания объектов.

В результате один и тот же товар, клиент, поставщик, подразделение или другой объект может иметь разные наименования, коды и характеристики в разных системах. Если справочники не синхронизированы, при объединении данных возникают дубли, несоответствия и ошибки. Система не всегда может определить, относятся ли разные записи к одному объекту или к разным.

Сопоставить разрозненные данные и получить полную картину деятельности компании в таких условиях практически невозможно. Особенно заметной проблема становится при построении корпоративной отчетности, внедрении DWH и BI.

Появление дублей, противоречий и разных версий одних и тех же данных влияет не только на работу ИТ-систем, но и на качество аналитики и управленческих решений.

Управление НСИ становится важно для любой компании, у которой много регламентированных процессов, каталогов, департаментов:

• Предприятия, госкорпорации, ТЭК

Актуально, когда есть несоответствия в данных по материально-техническим ресурсам (МТР), основным средствам, контрагентам и т.д.

• Розничная торговля, крупные e-com магазины

Актуально для ритейла, когда нужен порядок в каталогах товаров (SKU), поставщиков и клиентов.

• Компании, работающие по 223 ФЗ и 44 ФЗ

Характерно большое количество рутинных операций при взаимодействии с государственными информационными системами (ГИС).

MDM тесно связано с управлением НСИ, но эти понятия не полностью идентичны.
НСИ определяет справочники, классификаторы и нормативные значения, используемые в компании, а MDM (Master Data Management) обеспечивает процессы и технологические инструменты для централизованного управления ключевыми данными и их согласованности между системами.

MDM (Master Data Management) — это подход к управлению мастер-данными компании.
MDM-система — программное решение, которое помогает централизованно создавать, хранить, проверять, согласовывать и распространять эталонные данные между информационными системами.

Например, один товар может иметь код 000125 в 1С, SKU-7842 в WMS и PRD-156 в CRM. MDM позволяет установить, что все эти записи относятся к одному товару, сформировать его эталонную карточку и поддерживать соответствия между системами.

Одна из ключевых задач MDM — формирование Golden Record, или эталонной записи об объекте.
Golden Record содержит наиболее полное, актуальное и согласованное представление объекта на основе данных из разных информационных систем.

• Наименование: Молоко 3,2%, 1 л
• Бренд: Буренка
• Категория: Молочная продукция
• Подкатегория: Молоко
• Объем: 1 л
• Жирность: 3,2%
• Штрихкод: 4601234567890

При этом в разных системах товар по-прежнему может иметь собственные локальные коды

1С 000125 → WMS SKU-7842 → CRM PRD-156 → Golden Record 10542

MDM-система хранит или поддерживает правила сопоставления этих записей и помогает определить, какие значения считать эталонными.

Со временем в справочниках компании накапливаются дубли, устаревшие записи, разные варианты наименований, некорректные коды и незаполненные атрибуты. Особенно часто такие проблемы возникают, когда НСИ ведется одновременно в нескольких информационных системах или данные вводятся вручную разными сотрудниками.

Нормализация НСИ — это процесс очистки, стандартизации и приведения справочных данных к единым правилам и эталонным значениям.

Сотрудники службы НСИ приводят данные к разработанным стандартам описания:

• выявляют и устраняют дубли;
• исправляют ошибки и некорректные значения;
• стандартизируют наименования;
• заполняют недостающие характеристики;
• актуализируют устаревшие записи.

После нормализации записи могут быть сопоставлены с одним эталонным объектом:
Молоко 3.2 1000 мл, Молоко 3,2% 1л, Молоко питьевое 3,2% → единый ID 10542

В зависимости от состояния НСИ процесс нормализации может включать несколько направлений работ.

Служба НСИ — это выделенная функция или команда специалистов, которая отвечает за создание, изменение, нормализацию и контроль качества нормативно-справочной информации.

Создание отдельной функции управления НСИ становится актуальным, если:

• Используется много информационных систем — ERP, CRM, WMS, 1С должны работать с согласованными справочниками и корректно обмениваться данными.
• Справочники ведут разные подразделения — финансы, продажи, производство могут использовать собственные правила наименования и классификации одних и тех же объектов.
• В справочниках много дублей и ошибок — сотрудники регулярно сталкиваются с несколькими карточками одного товара или контрагента, некорректными кодами и незаполненными атрибутами.
• Много ручной работы — значительные ресурсы сотрудников уходят на сверку, очистку и сопоставление справочников перед подготовкой отчетности или обменом данными.
• Компания внедряет DWH и BI — для формирования согласованной аналитики необходимо однозначно сопоставлять товары, клиентов, подразделения и другие объекты из разных источников.
• Компания планирует использовать ML и ИИ — качество результатов таких решений напрямую зависит от качества, полноты и согласованности исходных данных.

По мере роста бизнеса управление НСИ становится не просто задачей ведения справочников, а частью корпоративного управления данными.

Состав службы НСИ зависит от масштаба и сложности информационной инфраструктуры компании, количества справочников и информационных систем, объема мастер-данных и интенсивности их изменений.

Для ключевых справочников важно определить владельцев данных — сотрудников, которые отвечают за правила работы с конкретной областью данных со стороны бизнеса (коммерческий блок может отвечать за требования к данным о клиентах, категорийный менеджмент — о товарах, финансовый блок — о статьях доходов и ЦФО).

Аналитик НСИ отвечает за структуру, правила и процессы управления НСИ. Он изучает бизнес-процессы компании, собирает требования подразделений, определяет причины проблем с качеством данных и разрабатывает способы их устранения. Для этой роли особенно важно понимать процессы разных функциональных областей: закупок, логистики, финансов, продаж, производства, HR и других направлений.

При большом количестве справочников, информационных систем и участников процесса появляется необходимость в отдельной управленческой роли — руководителе службы НСИ. Он координирует работу команды и взаимодействие с бизнес-подразделениями, ИТ и владельцами данных, а также отвечает за развитие процессов управления НСИ.

Разработчики, архитекторы, специалисты по интеграции и администраторы MDM-систем отвечают за техническую сторону процесса: интеграцию MDM с ERP, CRM, WMS, DWH и другими системами, автоматизацию обмена справочниками, поддержку и развитие MDM-платформы и т.д.

Внедрение системы управления НСИ начинается с анализа текущего состояния справочников и заканчивается запуском MDM-системы, интеграцией с корпоративными информационными системами и организацией процессов дальнейшего ведения данных.

• Предпроектное обследование

Анализ существующих процессов работы с НСИ, информационных систем, справочников и классификаторов. Определение источников данных, ответственных сотрудников и основных проблемы: дубли, ошибки, неполные записи, разные правила ведения справочников.

• Проектирование НСИ

Разработка структуры справочников, обязательных атрибутов, классификаторов, правил наименования, проверки, сопоставления и формирования эталонных записей.

• Нормализация и подготовка данных

Очистка существующих справочников: выявление дублей и ошибок, стандартизация наименований, заполнение недостающих атрибутов, обогащение данных. Записи из разных источников сопоставляются и приводятся к единым стандартам и эталонным значениям.

• Разработка и внедрение MDM

Настройка MDM-системы, модели данных, справочников, ролей пользователей, правил проверки и маршрутов согласования изменений. Интеграция MDM с корпоративными системами, чтобы эталонные данные могли централизованно распространяться и использоваться в бизнес-процессах.

• Обучение сотрудников и запуск

Обучение специалистов службы НСИ, владельцев данных и бизнес-пользователей работе с внедренным решением.

• Поддержка и развитие

Сопровождение MDM-системы и развитие процессов управления НСИ: подключение новых справочников и источников, изменение модели данных, совершенствование интеграции и правил контроля качества.
По мере развития бизнеса система НСИ масштабируется вместе с информационной инфраструктурой компании

Для повышения качества данных не всегда необходимо сразу внедрять отдельную MDM-систему. Начать можно с базовых мероприятий Data Quality:

• провести аудит текущего состояния данных;
• выявить дубли и противоречия в ключевых справочниках;
• определить единые правила их ведения и эталонные значения.

Следующим шагом может стать создание корпоративного хранилища данных (DWH), которое позволит консолидировать данные из ERP, CRM, 1С и других источников, применить единые правила их обработки и сформировать надежную основу для BI-аналитики.

Такой подход позволяет последовательно повышать зрелость управления данными и решать наиболее критичные проблемы без необходимости запускать масштабный MDM-проект.