16.05.2025 НОВОСТИ

Qlever Solutions – на первом месте среди партнеров ГК Денвик! Рассказываем, в каких проектах используем Экстрактор 1С, и что нового в Релизе 3.6.x

Компания Qlever Solutions, специализирующаяся на внедрении корпоративных аналитических решений, стала лидером среди партнеров ГК Денвик, заняв первое место в Q1 2025 по объему продаж Экстрактора 1С.


Qlever Solutions предлагает своим клиентам Экстрактор как самое надежное и эффективное решение для автоматической выгрузки данных из 1С в проектах внедрения BI-систем и корпоративных хранилищ данных.

Для эффективного управления бизнесом важно иметь полное и актуальное представление о том, что происходит в компании. Большой объем ключевых данных о продажах, закупках, финансах и клиентах обычно хранится в приложениях экосистемы 1С.
Для аналитики все эти данные необходимо извлечь из источника 1С, и предоставить системе BI или корпоративному хранилищу данных DWH. Сложность процесса заключается в том, что 1C – закрытая проприетарная система, подключиться к которой для выгрузки данных напрямую нельзя.

Для решения задачи ГК Денвик разработали Экстрактор 1С от Денвик, который автоматизирует получение всех данных из 1С 8.2 и 8.3 и их доставку в таблицы БД ClickHouse или MS SQL без нарушения лицензионной политики 1С.

Читайте подробнее о разных способах выгрузки данных из 1С

Экстрактор 1С в BI от Денвик уже используют несколько дирекций АО МОСГАЗ (как часть корпоративной аналитической системы), ГК Галс-Девелопмент (в проекте DWH), The Act (в комплексных решениях DWH + BI), Zetter, SPAR и другие клиенты Qlever.

Лучший результат в рейтинге партнеров стал для нашей команды подтверждением профессионализма и стимулом для дальнейшего роста.

Благодарим коллег из Денвик за плодотворное сотрудничество и доверие!

Как работает Экстрактор 1С?

  • Подключается к базе 1С, представляет собой Расширение к приложению 1С
  • Извлекает нужные документы, справочники, регистры согласно Проекту – по настройкам, которые вы задаете для выгрузки одного или нескольких наборов данных
  • Позволяет очищать данные от дублей и ошибочных значений, проводить дополнительные вычисления, шифровать информацию
  • Выгружает данные в СУБД ClickHouse, PostgreSQL, Microsoft SQL
  • Передает данные в DWH или BI (PIX BI, Analytic Workspace, Visiology, Power BI, Qlik Sense, Yandex Datalens, Apache Superset)

Преимущества экстрактора

  • Поддерживает low-code/no-code подход, то есть позволяет решить задачи по выгрузке данных без привлечения программистов 1С, тем самым сокращая сроки и стоимость поддержки аналитического решения

  • Умеет работать в регламентном режиме – осуществлять плановые настроенные выгрузки, например, каждый час

  • Работает в режиме многопоточности, благодаря чему нам удалось достичь высокой скорости выгрузки даже больших объемов данных (1,3 млн записей в час)

  • Поддерживает инкрементальную выгрузку – отслеживает и загружает только новые и изменённые данные из 1С

  • Может трансформировать данные на лету - приведение типов, переименование полей, удаление лишнего

Подробнее о работе и возможностях Экстрактора читайте на сайте Денвик

Что нового в Экстракторе 1С? Релиз 3.6.x

Эксперты Денвик стремятся сделать свои программные продукты лучше и регулярно выпускают обновления для оптимизации и совершенствования продукта. 

Подробную информацию о новых релизах вы можете узнать в документации Продукта

Расскажем кратко о свежих ключевых обновлениях в Экстракторе.
  • Denvic Control Center (DCC) для управления продуктами Денвик

В релизе 3.6.3.76 выпущен Denvic Control Center (DCC) – решение для централизованного управления всеми инсталляциями коннекторов от Денвик (Экстрактор 1С, Коннектор Битрикс24 в ClickHouse, Коннектор к SAP и др.) и мониторинга их работы.

DCC позволяет централизованно управлять большим количеством баз данных, в которых установлены Коннекторы, и закрывает большинство требований при выходе продукта на другие рынки.

Обладает следующей функциональностью:

  • Мониторинг коннекторов
  • Логирование исполнения проектов
  • Сбор метаданных по коннекторам
  • Оркестрация - внешнее управление исполнением проектов в коннекторах 
  • Формирование очереди для проектов Экстрактора 1С с помощью команды initial_project.
  • Выгрузка схем данных, групп и «Снежинок» для Экстрактора 1С

DCC поставляется в рамках лицензии Enterprise или по отдельному запросу. Основными пользователями решения являются системные администраторы и технические специалисты.

В разработке функции Denvic Control Center:

  • Централизованное хранение версий проектов Экстрактора 1С и их использование в качестве шаблонов для развертывания на других подключенных Экстракторах 1С 
  • Обновление Коннектора до нужной версии из репозитория при наличии активной лицензии
  • Управление развертыванием Коннекторов
  • Db.Proxy.Service - сервис для работы с СУБД из 1С через http

Для организации взаимодействия Экстрактора 1С с внешними СУБД PostgreSQL, MS SQL Server, Greenplum, Oracle по http, а также для конвертации в формат Avro для выгрузки в Apache Kafka (Arenadata Streamin) в рамках релиза 3.6.1.9 выпущен proxy-cервис Db.Proxy.Service.

Db.Proxy.Service представляет собой Rest API-сервис, разворачиваемый на серверах Заказчика.

В релизе 3.6.3.76 для Db.Proxy.Service реализована поддержка SSL.
  • Параметры «ИсточникСобытия» и «Событие» для обработчиков

Обработчик события проекта — это предопределенный или созданный вами самостоятельно программный код, который выполняется в момент определенного события проекта.

В релизе 3.6.4.48 для обработчиков добавлены параметры:

  • «ИсточникСобытия» - отражает измененный объект события
  • «Событие» - идентифицирует конкретное событие

Данное усовершенствование реализовано для обеспечения точной идентификации события, вызвавшего обработчик, например, «ПередЗаписью», «ПриЗаписи» или «ПередУдалением».

Доработка позволяет инициализировать переменную «ИсточникСобытия», аналогичную параметру «Источник» из события «ПриЗаписи», в событии «ПередЗаписью». Это обеспечивает возможность сравнения с параметром «Источник» события «ПередЗаписью», что может быть полезно для отслеживания изменений объекта до и после записи.

Также реализована возможность передачи дополнительных данных из события «ПередЗаписью» в событие «ПриЗаписи» посредством дополнительных свойств объекта «ИсточникСобытия» (выступающего в роли посредника).

Детали реализации данной функциональности представлены в примере листинга обработчика регистрации изменений:
  • Управление ключами лицензирования - активация сервера и базы вручную

В рамках релиза 3.6.3.76 добавлена возможность активации сервера и базы вручную.

При нажатии на ссылку «Управление ключами лицензирования» разворачивается таблица серверов и баз, а также кнопки для управления:

  • Обновить
  • Активировать
  • Деактивировать
Для активации сервера вручную необходимо нажать кнопку «Активировать» и указать имя сервера, который вы хотите активировать.

Подробная демонстрация работы Экстрактора данных 1С в BI

Посмотрите полную запись вебинара, в рамках которого эксперт Денвик показал инкрементальную выгрузку данных из 1С:Предприятие в режиме реального времени
Внедрение дашборда бизнес-аналитики
Прочие доработки и исправление ошибок
Релиз 3.6.4.50 (HotFix)
Теперь по умолчанию тип приёмника определяется как «Date32» и «DateTime64» для ClickHouse вместо «Date» и «DateTime» соответственно (HOTFIX-156585), а также исправлены прочие ошибки.

Релиз 3.6.4.48
  • Добавлены комментарии к колонкам, которые по умолчанию заполняются названием источника. Комментарии спрятаны в дополнительные поля. Добавлена команда для заполнения комментариев для всех полей «Заполнить комментарии»
  • Комментарий к вычисляемым полям формируется по формуле: “имя=функция(параметр)”
  • Теперь Экстрактор отправляет на сервер лицензирования информацию об установленной сборке
  • Добавлено заполнение комментария из «Снежинки»
  • При перенастройке строки проекта способ выгрузки «Добавление» нельзя изменить
  • При установке флага сегмента флаг «Nullable» снимается автоматически
  • При использовании подключения «Apache Kafka», если нет схемы, скрывается колонка «Тип»
  • При выгрузке структуры проекта в DCC, в нее добавлены «ИдентификаторСтроки» и «КлючСтроки»
  • Если при получении задачи из DCC проект уже выполняется, то задача получает статус «waiting» и ожидает своей очереди
  • При выгрузке зарегистрированных измененных данных добавлена возможность выгрузки «Даты регистрации изменений»

Исправлены ошибки
  • Вычисляемого поля с параметром, когда ругается на добавление атрибута структуры (имя ключа содержит точку «Параметр.ИмяПараметра»
  • BUGFIX-153289. При выборе чекбокса «NULL» на этапе сопоставления полей не устанавливать nullable на сегмент
  • HOTFIX-128507. Новые поля из запроса добавляются в выбранные поля. Если поле было удалено из выбранных, а не выключено, то оно снова добавится
  • FIX-155027. Неправильно указан движок таблицы при создании снежинки в базе ClickHouse. Вместо движка таблицы подставлялся движок базы
  • HOTFIX-148835. Ошибка копирования строки проекта (F9)
  • FIX-155611. Ошибка восстановления комментария при загрузке шаблона «Снежинки»
  • FIX-131187. Ошибка создания шаблона из формы списка в УПП 1.3.
  • FIX-137699. Ошибка очистки очереди на платформе до 8.3.3. 
  • FIX-154739. Apache Kafka. При повторном открытии помощника, поля «P» и «S» не восстановились
  • FIX-154949. Ошибка инсталлятора в обычном приложении
  • FIX-148865. Список таблиц ClickHouse отображал в списке доступных таблиц VIEW (представления)
  • FIX-154789. Дублирование авто вычисляемых полей
  • FIX-133787. Не позволяет выбрать параметры обработчика в качестве сегментов при создании
  • FIX-154551. Ошибка удаления не существующего subject.
  • FIX-152441. ClickHouse. Ошибка десериализации значения по умолчанию
  • FIX-155649. Для коннектора DCC поле «Наименование» было не обязательным для заполнения
  • FIX-155637. Полные права Экстрактора не содержат прав на очередь DCC

Релиз 3.6.3.76
  • Выпущена новая версия инсталлятора, в котором реализована возможность работы через proxy (данный функционал находится на этапе тестирования)
  • Реализована возможность добавления вычисляемых полей «метаданных» регистрации. Для того, чтобы в новых проектах добавлялись поля с метаданными необходимо заполнить настройки во вкладке «Данные»
  • Добавлена возможность экспорта и импорта «Снежинок»
  • В историю выполнения проектов выводится количество
  • В интерфейс Экстрактора 1С вынесен переход в Личный кабинет
  • Реализована поддержка выгрузки в UUID для ClickHouse
  • Добавлена кнопка очистки регистра замеров времени
  • На этапе сопоставления полей при создании проекта добавлены флаги NULL и NOT NULL для всех полей, а также по умолчанию проставляются флаги у всех полей, кроме сегмента

Исправлены ошибки:
  • Восстановлена работа каскадной выгрузки «Снежинка»
  • HOTFIX-150639. Ошибка проверки существования представления через db.proxy
  • HOTFIX-124629. При инициализации проекта не учитывался отбор, заданный в строке проекта
  • HOTFIX-150379. Логическая ошибка функции СтрРазделитьСПроверкойПар
  • HOTFIX-136343. Для ролей Экс_ПолныеПрава и Экс_Полные_Права по умолчанию снят флаг «Устанавливать права для новых объектов»
  • BUGFIX-139051. На этапе маппинга между Источником и Приемником не восстанавливается имя приемника при снятии флага «Не выгружать»

PostgreSQL:
  • HOTFIX-145181. Не сохраняется порядок поля индекса
  • Ошибка при выгрузке через файлы при использовании подключения HHTP v1
Обратите внимание!
Не рекомендуется использовать HHTP proxy, так как он является устаревшим и оставлен для совместимости со старыми версиями. HHTP proxy не поддерживает выгрузку через файлы.

Microsoft SQL Server:
  • HOTFIX-151913. Ошибка выгрузки поля с типом TEXT через файл
ClickHouse:
  • HOTFIX-147615. Ошибка выгрузки типа DateTime64 ClickHouse через файл
  • HOTFIX-147363. Реализована проверка выгрузки типа “Дата” в ClickHouse
  • HOTFIX-152217. Ошибка конвертации в тип Int32 в ClickHouse
Apache Kafka:
  • HOTFIX-151669. Если в помощнике для Apache Kafka не установить тип схемы, то возникает ошибка
  • HOTFIX-147853. При загрузке шаблона подключения Apache Kafka с proxy, не показывает параметры подключения к proxy
  • HOTFIX-151681. Ошибка выгрузки проекта, сформированного «Снежинкой» в Apache Kafka

Релиз 3.6.1.31
  • В очереди добавлено поле «ВременнаяТаблица».
При создании временной таблицы поле сохраняется в записи очереди, при удалении – автоматически удаляется. При повторном запуске проверяется очередь на оставшиеся временные таблицы, после чего они удаляются.

  • Добавлено удаление оставшихся временных таблиц от предыдущих сеансов выгрузки

Исправлены ошибки:

для 8.2 и «Толстого клиента»:
  • HOTFIX-132925. Попытка передачи с клиента на сервер мутабельного значения в толстом клиенте без прав на очередь выгрузки
  • HOTFIX-146669. Исправлена ошибка «Нарушение прав доступа!» при записи проекта без прав администрирования
  • HOTFIX-147143. Исправлена ошибка выгрузки при установке параметра «начало этого дня»
ClickHouse:
  • Произведена корректировка выгрузки значений дат для ClickHouse ниже 23 версии
  • HOTFIX-148033. Исправлена ошибка отображения императивной партиции ClickHouse при повторном открытии проекта
  • HOTFIX-148035. Исправлена ошибка выгрузки императивной партиции с типом Date(32)
PostgreSQL:
  • HOTFIX-145181. Не сохраняется порядок поля индекса для Postgre
MS SQL Server:
  • HOTFIX-148053. Исправлена ошибка удаления индекса MSSQL (если таблица начинается с цифр в названии)
Db.Proxy.Service:
  • Исправлена ошибка конвертации дат в db.proxy.service
  • Исправлена строка подключения к db.proxy.service
  • Для db.proxy.service был виден пароль подключения

Релиз 3.6.1.9
  • Поддержана выгрузка таймзон для полей в формате date/DateTime (опционально, включается в настройках)
Экстрактор 1С в BI от Денвик - полноценное, универсальное решение для безболезненной выгрузки любых данных из 1С, которое сокращает затраты на поддержку БД и загрузку программиста 1С.

После выгрузки с помощью Экстрактора от Денвик данные можно использовать для дальнейшей аналитики и визуализации показателей эффективности продаж, маркетинга, производства и других результатов деятельности компании.   

Qlever Solutions обладает одной из самых обширных в России практик разработки и поддержки BI-решений. Мы разрабатываем аналитические приложения и помогаем в интеграции систем бизнес-аналитики с внешними платформами, в том числе, с 1С.

Превратим таблицы из 1С в красивый дашборд

Свяжитесь с нами. Установим Экстрактор от Денвик и внедрим BI под ключ для анализа любых данных из 1С