Источниками данных для будущих BI-приложений стали:
- Базы из 1С ERP Управление предприятием
- Excel-файл с дополнительными справочниками банков, компаний, займов и регионов
- API Центробанка для получения данных по курсам валют за исследуемый период
Из-за сложной организационной структуры одни и те же метрики в разных базах отличались. В пяти независимых базах контрагентов и клиентов из 1С были найдены дубликаты, пересечения и противоречия.
Первостепенной задачей проекта стала нормализация и консолидация имеющихся данных.
Для решения проблемы качества данных командой Qlever были созданы единые правила нормализации и сбора записей, а во время формирования модели данных в AW BI проведена обработка данных на Spark SQL.
После совместного обсуждения с заказчиком и выбора наиболее удобного решения, данные из 1С были объединены клиентом с помощью продукта 1С:Шина в единый источник для будущей отчетности - производительную витрину в MS SQL.
Деятельность компании с расчетами в разных валютах требовала ежедневной синхронизации с курсом ЦБ РФ для формирования точной консолидированной отчетности. Для автоматического получения актуальных курсов валют через встроенный ETL-блок AW BI была настроена интеграция с API курсов валют ЦБ РФ.
Для загрузки обновляемого Excel-файла из внешнего источника специалистами Qlever был организован автоматизированный безопасный обмен через SFTP-сервер с настройкой регулярной загрузки.
В результате клиент получил чистые, унифицированные справочники, что гарантировало повышение качества финансовых данных и достоверную информацию по клиентам и поставщикам.
Следующим шагом проекта стала разработка трех BI-приложений для анализа финансовых результатов компании на базе Analytic Workspace.