18.09.2023 Публикации

Так ли бесплатны "бесплатные" BI-решения, и что выбирать, чтобы не потратить лишние деньги?

Согласно обзору CNews Аналитика 3.0 — 2023, «…рынок бизнес-аналитики растет примерно на 30% в год. Основная причина — импортозамещение... волна миграции на отечественное ПО придется на 2024 г. — к этому времени внедренные западные системы уже достаточно самортизируются, а российские достигнут необходимой зрелости.»

Спрос на внедрение инструментов аналитики вырос за последнее время еще и в результате необходимости адаптироваться и быстро реагировать на постоянно меняющиеся условия. В то же время, нестабильность и риски заставляют оптимизировать ИТ и сокращать стоимость владения ПО.

Если ранее бизнес отдавал предпочтение решениям от очевидных лидеров рынка Microsoft, Tableau, Qlik, то с введением санкций поиск альтернатив превратился в непростую задачу. Большое разнообразие пришедших на смену решений может затянуть и без того сложный процесс выбора.

В этой статье мы постараемся разобраться с тем, какие сейчас есть варианты BI, действительно ли имеющиеся бесплатные решения для аналитики бесплатны, и как сформировать стратегию выбора ПО, позволяющую сократить затраты.

Что предлагает рынок BI сейчас?

  • Проприетарное ПО

Несмотря на уход с рынка крупнейших игроков, большинство пользователей по-прежнему предпочитает закрытое ПО для бизнеса.

В данной категории есть пользователи, продолжающие использовать зарубежные решения – Qlik, Power BI, Tableau. Такой вариант осложнен в текущих реалиях невозможностью расширения лицензий по количеству пользователей.

Некоторые мигрируют на зарубежные платформы, не попадающие под санкции, например, Fine BI (Китай). Большинство остановило свой выбор на отечественных платформах – PIX BI, Visiology, Luxms BI, Форсайт и тд

Преимущества закрытого ПО с точки зрения затрат:

  • Отлаженный процесс внедрения и интеграции
Со стороны вендора учитываются необходимые параметры инфраструктуры, оцениваются требования к производительности ПО, учитываются возможные риски отказоустойчивости.

  • Широкая функциональность BI-платформы в едином решении
Над инструментами для сбора, хранения и визуализации данных внутри BI-платформы трудится команда специалистов с высоким уровнем знаний и опытом работы над разнообразными проектами.

  • Безопасность
Проприетарные BI-решения подразумевают соответствие необходимым стандартам безопасности (в том числе, сертификации по ФСТЭК) и наличие гибких возможностей регулирования прав доступа в ролевой модели.

  • Доступность постоянных обновлений, происходящих незаметно для конечного пользователя
  • Поддержка вендора в режиме реального времени

    Недостатки закрытого ПО:

    Четко отрисованная функциональность продукта может стать минусом – порой такое BI-решение сложно дорабатывать или корректировать под отраслевую специфику и конкретные задачи бизнеса.
    Изначальная экономия может обернуться в затраты, связанные с собственными доработками и внедрением дополнительных инструментов.
        Для примера рассмотрим PIX BI - отечественную BI-систему с адаптивным интерфейсом, гибкой системой фильтрации и возможностью создания персонализированных отчетов.

        Платформа создавалась как аналог популярной BI-платформы Qlik, поэтому большая часть функций и интерфейсов уже знакома бизнес-пользователям.

        PIX BI обеспечивает:

          Безопасность данных за счет гибкой ролевой модели доступа - ограничения доступа к конкретным директориям или таблицам, либо по заданным собственным правилам.

          Быстродействие, которое обеспечивается за счет использования встроенного хранилища ClickHouse. Причем, поскольку взаимодействие с СУБД производит сама система PIX BI, в штате не требуются отдельные специалисты, обладающие знанием ClickHouse. Быстродействие при отображении прямых таблиц достигается пагинацией - при скролле подгружается только определенный фрагмент данных.

          Возможность работы с большими объемами данных

          Нагрузочные тестирования системы показали следующие результаты:

          • Количество строк в витрине исходных данных – не ограничено
          • Скорость открытия отчета – менее 10 секунд
          • Скорость обновления визуализаций после применения фильтров – менее 3 секунд
          • Скорость выгрузки данных в .xls – 100 000 строк, менее чем за 15 секунд
          • Скорость выгрузки данных из источников – 500 000 строк, менее чем за 3 минуты

          Простое подключение различных источников: встроенный ETL-модуль позволяет загружать данные в PIX BI из популярных СУБД, таких как ClickHouse, MS SQL, PostgreSQL, текстовых и Excel-файлов, а с помощью коннектора к QVD-файлам - данные из системы Qlik.

                Удобство использования и широкую функциональность:
                • Сквозная фильтрация и технология drill-down позволяют применять параметры фильтрации ко всем дашбордам и отчетам или изучить отчеты в разных разрезах в рамках одной визуализации
                • Ассоциативный анализ с трехцветной индикацией подсказывает дальнейшие шаги анализа
                • Включены инструменты self-service: рядовой сотрудник с базовыми компьютерными навыками может самостоятельно освоить работу в системе без помощи ИТ-специалистов, что дополнительно сокращает затраты на сопровождение и поддержку
                • Визуальное представление модели данных дает наглядное понимание связей данных и таблиц аналогично с Qlik
                • Разнообразие визуализаций обеспечено за счет 18 встроенных визуализаций, более 400 визуализаций во встраиваемых библиотеках и возможности кастомизации с помощью добавления собственных шаблонов
                • Возможность совместного доступа для работы команды или создание персонализированных графиков и отчетов
                • Работа со сводными таблицами - возможность выгрузки из системы таблицы в формате Excel для дальнейшей работы
                • Адаптивный интерфейс позволяет использовать систему на любом устройстве
                • В поставку PIX BI входит RPA-робот – цифровой помощник, который может, например, собирать данные для системы, готовить кастомные отчеты и направлять их по списку рассылки

                Развитие платформы: ежемесячные выходы обновленной версии с новыми дополнениями и функциями.

                Низкую стоимость владения, дешевле, чем иностранный софт и многие российские аналоги. В PIX BI сделан акцент на возможности масштабирования системы, а минимальный пакет составит всего 5 лицензий.

                    • Open Source и собственные разработки на его основе

                    Согласно прогнозам, к 2026 году более 90% российских компаний будут использовать открытое ПО. Несменным лидером Open Source BI остается Apache Superset, но также есть и другие игроки - Grafana, Redash и т.д.

                    Open Source решения не равно бесплатные решения. Использование Open Source все также стоит денег, только вы платите не за лицензии, а за внедрение, сопровождение, развитие, обеспечение должной поддержки, доработки и риски.

                    Когда речь заходит о построении аналитических приложений на базе Open Source продукта для непрерывно развивающегося бизнеса, построенное на базе открытого ПО решение в итоге будет дороже проприетарного из-за необходимости доработок.

                    Преимущества открытого ПО:

                    • Экономия на лицензиях и гибкость при масштабировании
                    • Возможность легких доработок по функциональности под конкретные нужды пользователя
                    • Активное развитие комьюнити - постоянно обновляющиеся примеры использования, гайды, растущие чаты поддержки, где можно получить консультацию по возникшей проблеме
                    • Независимость от санкций

                        Недостатки открытого ПО:

                        • Отсутствие гарантий в необходимой функциональности и отказоустойчивости
                        Применение Open Source дает возможность комбинировать различные открытые компоненты для получения комплексных решений, но это требует наличия в компании экспертизы и на уровне построения бизнес-процессов, и с точки зрения интеграции в корпоративный ИТ-ландшафт.

                        • Отсутствие стандартов безопасности и незамеченные уязвимости
                        В Open Source проектах участвует большое количество аналитиков и пользователей, что усложняет централизованную проверку созданного кода и не дает гарантий честных намерений всех участников. Легко может возникнуть пробел в безопасности. По данным GitHub, 17% всех уязвимостей, почти пятая часть всех ошибок открытого ПО, создается для вредоносных целей.

                        • Нет поддержки в режиме реального времени
                        Неизвестно, когда удастся получить ответы на вопросы, и возможно ли будет решить проблему в тематическом сообществе.
                        Внедрение и обновление и открытого ПО может потребовать привлечения специалистов
                        Кажущееся на первый взгляд бесплатным решение, требует весомых затрат на его внедрение, интеграцию и поддержку. Переходы на новые версии не протекают также незаметно для конечного пользователя, как в проприетарном ПО.
                            Например, Apache Superset вполне может использоваться для создания отчетности в компаниях, где хорошо развита культура дата инжиниринга. В нетехнологических компаниях Superset потребует привлечения специалистов для установки и настройки.

                              Для развертывания Superset нужны знания бэкенд-разработчика: умение работать с Docker, знания базовых команд терминала Linux, настройка Flask, Redis, Celery, выбор веб-сервера для платформы и т. д.

                              В системе отсутствует возможность кастомизации визуализаций стандартными командами. Для создания сложных приложений с элементами управления и реализации расчетов на стыке данных из разных датасетов потребуется изучение шаблонизатора Jinja и SQL хотя бы на среднем уровне.

                              Еще один минус - отсутствие возможности проводить детализацию данных по иерархии (технология drill-down).

                              Есть недостатки и в работе с источниками данных. Работать напрямую с файлами форматов .txt, .csv, .xls в Superset нельзя, нужно предварительно загружать информацию в БД. Инструментов по предпроцессингу сырых данных нет, поэтому все этапы нужно выполнять сторонними программами либо с помощью языков программирования.

                              Для пользователей Superset доступна мощная поддержка сообщества, где можно почерпнуть идеи модификации, но могут возникнуть проблемы с получением поддержки для решения проблем в реальном времени.

                              Есть вопросы и к безопасности Superset. Недавно агентство кибербезопасности Horizon3 обнаружило в порядка 2000 из 3000 установок Apache Superset уязвимость. Многие из этих серверов оказались публично открыты, так как выявлено использование указанного по умолчанию в примере файла конфигурации ключа шифрования для генерации сессионных файлов cookie. Любой злоумышленник мог подключиться к интерфейсу Superset с правами администратора, сформировать фиктивные параметры сеанса, изменить данные и выполнить удаленный код.

                              Эксперты Horizon3 еще в 2021 году обратили внимание на данную проблему, в код была добавлена проверка, при наличии значения по умолчанию выводящая в лог предупреждение, но пользователи редко обращали внимание на уведомление.

                              Окончательно уязвимость устранена в новых версиях Apache Superset, но все еще показательна относительно возможных рисков использования открытого ПО без должных компетенций пользователя.

                              Неизбежная модификация, адаптация к архитектуре и усложненный процесс интеграции со смежными системами при переходе на открытое ПО требуют временных затрат собственных или привлеченных ИТ-специалистов, а значит дополнительного бюджета на расширение штата, обучение и оплату труда.

                              Выбор в пользу Open Source возможен, если компания четко понимает цели внедрения, риски и в состоянии обеспечить должные навыки команды. Если у Вас есть проприетарный BI, то Open Source инструмент может использоваться для расширения возможностей платформы.
                                  • Cloud Native платформы

                                  Платформы BI на базе облачной инфраструктуры. Лидеры облачного BI - Google Data Studio и Amazon QuickSight, но, в связи с политикой импортозамещения, платформы больше не доступны в России. На смену пришел бесплатный отечественный продукт Yandex DataLens.

                                  Преимущества облачного ПО:

                                  • Простота и скорость внедрения или миграции - внедрение on-premise решения требует более тщательного планирования и подготовки в масштабах организации
                                  • Простое масштабирование - нет ограничений по количеству пользователей, объему хранилища или вариантов визуализаций
                                  • Регулярные автоматические обновления
                                  • Данные из облака можно получать практически из любой точки доступа

                                      Недостатки облачных платформ:

                                      Популярное сейчас бесплатное российское решение на базе облачной инфраструктуры - Yandex DataLens.
                                      Имеет хорошую документацию, встроенные справочники функций и даже курсы бесплатного обучения по работе с продуктом. Но, как и прочие варианты, имеет свои минусы.

                                      • Не подходит для компаний с высокими требованиям к информационной безопасности
                                      Размещение данных во внешней инфраструктуре не дает гарантий по конфиденциальности и сохранности данных.

                                      • Не подходит для работы с большим объемом данных
                                      На базе облачного BI, как правило, невозможно развернуть полноценное Enterprise решение. Скорость работы платформы будет практически полностью определяться скоростью работы БД и оптимизацией таблиц данных, и при больших объемах данных быстродействие в облаке может проседать. В DataLens есть следующие ограничения при работе с данными:

                                      - Лимиты данных в чартах - 75 000 строк для большинства диаграмм, есть и более ограниченные чарты
                                      - Лимиты данных в таблицах - 100 000 строк

                                      • Сложности кастомизации
                                      Если вам не хватит функциональности платформы, добавить ее не получится, возникнут расходы на дополнительные инструменты.
                                      Например, в DataLens количество видов встроенных диаграмм ограничено, нельзя строить каскадные диаграммы Waterfall, и отсутствует возможность их расширения путем интеграции сторонних решений (с помощью JavaScript кода).

                                      • Затраты на инфраструктуру, доработки и дополнительные инструменты
                                      DataLens не имеет собственных ETL-инструментов, нужно больше времени уделять подготовке данных на стороне источника. Инструменты для ETL предоставляет Yandex Cloud – платный сервис, таким образом, за ETL-инструменты придется платить, а сколько, зависит от объемов потребленных ресурсов и времени их использования.

                                      Для DataLens можно построить ETL-процедуры на Open Source продуктах и собственных мощностях, но при наличии квалифицированного персонала или интегратора, способного настроить и вести процессы хранения и обработки данных у заказчика, что также означает дополнительные затраты на сотрудников.

                                      В рамках DataLens невозможен автоматический процесс Data Mining - глубокое погружение в необработанные данные для извлечения ключевых знаний. Интеллектуальный анализ данных реализован в других сервисах Yandex Cloud, они требуют дополнительных расходов и привлечения аналитиков для настройки.

                                      Российская облачная BI-платформа позиционируется как полностью бесплатная, но на самом деле требует дополнительных затрат на инфраструктуру, доработки, дополнительные инструменты и привлечение экспертов.
                                          Для каждой конкретной компании и каждых конкретных бизнес-задач, независимо от того, внедряете ли вы решение с нуля или хотите мигрировать на новую версию платформы, выбираете между проприетарным ПО или Open Source, необходимо оценивать внутренние процессы и возможности, а в выборе ориентироваться не на кажущуюся доступность или простоту внедрения, а на совокупную стоимость владения и оценивать как плюсы, так и минусы продуктов.

                                          Как тогда выбирать и при этом сократить затраты?

                                          Чтобы инвестиции в ПО принесли ожидаемые результаты, необходима стратегия, с помощью которой можно определить критически важные заинтересованные во внедрении стороны, согласовать их потенциально несопоставимые цели, оценить технологии, обеспечить оптимальный бюджет и отслеживать процесс выбора ПО.
                                          • 1
                                            Оценка технологий
                                            Для оценки ПО стоит определить и согласовать:
                                            • Функциональные возможности для удовлетворения конкретных потребностей пользователей и решения конкретных задач
                                            • Технические требования, соответствующие вашей инфраструктуре и отвечающие потребностям безопасности
                                            • Возможности поддержки, включая помощь во внедрении, нюансы SLA (Service Level Agreement, соглашения об уровне обслуживания), обучение и техподдержку
                                            • Отзывы и рейтинги пользователей или коллег по отрасли
                                            • Потенциальную стоимость владения и коммерческие условия в соответствии с вашим бюджетом, включая затраты на внедрение и обучение, плату за обслуживание и поддержку, лицензионные сборы и продление, возможные доработки
                                          • 2
                                            Процессы
                                            Для того, чтобы выбрать и в дальнейшем использовать BI максимально эффективно, ваша стратегия выбора должна отвечать на вопросы:
                                            • Какие бизнес-задачи вы хотите решить с помощью ПО?
                                            • Какие сотрудники и процессы оказывают наибольшее влияние на достижение ваших бизнес-целей?
                                            • Какие инструменты и технологии бизнес-аналитики нужны этим сотрудникам и для поддержки этих процессов, чтобы обеспечить достижение бизнес-целей?
                                            Определите процессы, которые должны поддерживаться с помощью BI, получите консенсус по ним от ключевых заинтересованных сторон и ранжируйте их по важности.
                                          • 3
                                            Показатели
                                            В рамках стратегии оцените, какие показатели оказывают наибольшее влияние на вашу бизнес-стратегию: помогают оценить эффективность имеющихся процессов и сформулировать цели.
                                          • 4
                                            Данные
                                            Определите, какие конкретные данные необходимы для реализации процессов и влияют на вашу бизнес-стратегию. Перед выбором решения необходимо учитывать все источники данных, используемые для принятия решений: операционные системы, электронные таблицы и неструктурированные данные, хранящиеся в текстовых файлах, веб-страницах и других корпоративных системах.

                                            Стратегия также должна учитывать процесс управления данными как корпоративным активом – для согласования использования данных с глобальной стратегией компании.
                                          • 5
                                            Пользователи
                                            Ваша стратегия должна учитывать, что все ключевые сотрудники должны иметь простой и быстрый доступ к данным из разрозненных источников в любой точке мира, по мере необходимости.
                                          • 6
                                            Обзор текущей ситуации
                                            Проведите аудит BI. Аудит текущей BI системы позволит выявить узкие места в ETL-процессах, архитектуре решения, требуемой ИТ-инфраструктуре, а также на уровне интерфейсов, визуализаций и отчетов.

                                            В случае, если вы внедряете с нуля, аудит поможет провести анализ готовности инфраструктуры и источников данных.
                                          • 7
                                            Согласование внедрения BI со стратегией развития компании
                                            Сопоставьте глобальную стратегию роста и развития бизнеса со сформированной стратегией выбора, внедрения и развития BI. Это поможет вам оценить затраты и выгоды от системы на долгосрочный период.

                                          Разработка стратегии поможет:

                                          • Снизить затраты на ПО за счет более скоординированных, эффективных закупок
                                          • Снизить затраты на поддержку и администрирование
                                          • Снизить затраты на обучение пользователей
                                          • Получить ускоренную окупаемость проектов BI
                                          Внедрение BI часто является предметом разногласий между ИТ-отделом и бизнес-пользователями. Связывая цели, процессы, показатели эффективности, сотрудников и оценку BI-инструментов, стратегия BI обеспечивает согласованность, прозрачность и эффективность процесса выбора и проекта внедрения.

                                          Стратегия BI способствует значительной экономии средств, эффективному управлению и улучшенному опыту бизнес-пользователей. Все это даст вам конкурентное преимущество за счет полноценного использования функциональности и возможностей BI системы.

                                          Хотите сократить затраты на BI?

                                          Совершите один из важных шагов в стратегии эффективного внедрения – пройдите аудит BI