Qlever Solutions – на первом месте среди партнеров ГК Денвик! Рассказываем, в каких проектах используем Экстрактор 1С, и что нового в Релизе 3.6.x
Компания Qlever Solutions, специализирующаяся на внедрении корпоративных аналитических решений, стала лидером среди партнеров ГК Денвик, заняв первое место в Q1 2025 по объему продаж Экстрактора 1С.
Qlever Solutions предлагает своим клиентам Экстрактор как самое надежное и эффективное решение для автоматической выгрузки данных из 1С в проектах внедрения BI-систем и корпоративных хранилищ данных.
Для эффективного управления бизнесом важно иметь полное и актуальное представление о том, что происходит в компании. Большой объем ключевых данных о продажах, закупках, финансах и клиентах обычно хранится в приложениях экосистемы 1С.
Для аналитики все эти данные необходимо извлечь из источника 1С, и предоставить системе BI или корпоративному хранилищу данных DWH. Сложность процесса заключается в том, что 1C – закрытая проприетарная система, подключиться к которой для выгрузки данных напрямую нельзя.
Для решения задачи ГК Денвик разработали Экстрактор 1С от Денвик, который автоматизирует получение всех данных из 1С 8.2 и 8.3 и их доставку в таблицы БД ClickHouse или MS SQL без нарушения лицензионной политики 1С.
Экстрактор 1С в BI от Денвик уже используют несколько дирекций АО МОСГАЗ (как часть корпоративной аналитической системы), ГК Галс-Девелопмент (в проекте DWH), The Act (в комплексных решениях DWH + BI), Zetter, SPAR и другие клиенты Qlever.
Лучший результат в рейтинге партнеров стал для нашей команды подтверждением профессионализма и стимулом для дальнейшего роста.
Благодарим коллег из Денвик за плодотворное сотрудничество и доверие!
Как работает Экстрактор 1С?
Подключается к базе 1С, представляет собой Расширение к приложению 1С
Извлекает нужные документы, справочники, регистры согласно Проекту – по настройкам, которые вы задаете для выгрузки одного или нескольких наборов данных
Позволяет очищать данные от дублей и ошибочных значений, проводить дополнительные вычисления, шифровать информацию
Выгружает данные в СУБД ClickHouse, PostgreSQL, Microsoft SQL
Поддерживает low-code/no-code подход, то есть позволяет решить задачи по выгрузке данных без привлечения программистов 1С, тем самым сокращая сроки и стоимость поддержки аналитического решения
Умеет работать в регламентном режиме – осуществлять плановые настроенные выгрузки, например, каждый час
Работает в режиме многопоточности, благодаря чему нам удалось достичь высокой скорости выгрузки даже больших объемов данных (1,3 млн записей в час)
Поддерживает инкрементальную выгрузку – отслеживает и загружает только новые и изменённые данные из 1С
Может трансформировать данные на лету - приведение типов, переименование полей, удаление лишнего
Расскажем кратко о свежих ключевых обновлениях в Экстракторе.
Denvic Control Center (DCC) для управления продуктами Денвик
В релизе 3.6.3.76 выпущен Denvic Control Center (DCC) – решение для централизованного управления всеми инсталляциями коннекторов от Денвик (Экстрактор 1С, Коннектор Битрикс24 в ClickHouse, Коннектор к SAP и др.) и мониторинга их работы.
DCC позволяет централизованно управлять большим количеством баз данных, в которых установлены Коннекторы, и закрывает большинство требований при выходе продукта на другие рынки.
Обладает следующей функциональностью:
Мониторинг коннекторов
Логирование исполнения проектов
Сбор метаданных по коннекторам
Оркестрация - внешнее управление исполнением проектов в коннекторах
Формирование очереди для проектов Экстрактора 1С с помощью команды initial_project.
Выгрузка схем данных, групп и «Снежинок» для Экстрактора 1С
DCC поставляется в рамках лицензии Enterprise или по отдельному запросу. Основными пользователями решения являются системные администраторы и технические специалисты.
В разработке функции Denvic Control Center:
Централизованное хранение версий проектов Экстрактора 1С и их использование в качестве шаблонов для развертывания на других подключенных Экстракторах 1С
Обновление Коннектора до нужной версии из репозитория при наличии активной лицензии
Управление развертыванием Коннекторов
Db.Proxy.Service - сервис для работы с СУБД из 1С через http
Для организации взаимодействия Экстрактора 1С с внешними СУБД PostgreSQL, MS SQL Server, Greenplum, Oracle по http, а также для конвертации в формат Avro для выгрузки в Apache Kafka (Arenadata Streamin) в рамках релиза 3.6.1.9 выпущен proxy-cервис Db.Proxy.Service.
Db.Proxy.Service представляет собой Rest API-сервис, разворачиваемый на серверах Заказчика.
В релизе 3.6.3.76 для Db.Proxy.Service реализована поддержка SSL.
Параметры «ИсточникСобытия» и «Событие» для обработчиков
Обработчик события проекта — это предопределенный или созданный вами самостоятельно программный код, который выполняется в момент определенного события проекта.
В релизе 3.6.4.48 для обработчиков добавлены параметры:
«ИсточникСобытия» - отражает измененный объект события
«Событие» - идентифицирует конкретное событие
Данное усовершенствование реализовано для обеспечения точной идентификации события, вызвавшего обработчик, например, «ПередЗаписью», «ПриЗаписи» или «ПередУдалением».
Доработка позволяет инициализировать переменную «ИсточникСобытия», аналогичную параметру «Источник» из события «ПриЗаписи», в событии «ПередЗаписью». Это обеспечивает возможность сравнения с параметром «Источник» события «ПередЗаписью», что может быть полезно для отслеживания изменений объекта до и после записи.
Также реализована возможность передачи дополнительных данных из события «ПередЗаписью» в событие «ПриЗаписи» посредством дополнительных свойств объекта «ИсточникСобытия» (выступающего в роли посредника).
Детали реализации данной функциональности представлены в примере листинга обработчика регистрации изменений:
Управление ключами лицензирования - активация сервера и базы вручную
В рамках релиза 3.6.3.76 добавлена возможность активации сервера и базы вручную.
При нажатии на ссылку «Управление ключами лицензирования» разворачивается таблица серверов и баз, а также кнопки для управления:
Обновить
Активировать
Деактивировать
Для активации сервера вручную необходимо нажать кнопку «Активировать» и указать имя сервера, который вы хотите активировать.
Подробная демонстрация работы Экстрактора данных 1С в BI
Посмотрите полную запись вебинара, в рамках которого эксперт Денвик показал инкрементальную выгрузку данных из 1С:Предприятие в режиме реального времени
Релиз 3.6.4.50 (HotFix) Теперь по умолчанию тип приёмника определяется как «Date32» и «DateTime64» для ClickHouse вместо «Date» и «DateTime» соответственно (HOTFIX-156585), а также исправлены прочие ошибки. Релиз 3.6.4.48
Добавлены комментарии к колонкам, которые по умолчанию заполняются названием источника. Комментарии спрятаны в дополнительные поля. Добавлена команда для заполнения комментариев для всех полей «Заполнить комментарии»
Комментарий к вычисляемым полям формируется по формуле: “имя=функция(параметр)”
Теперь Экстрактор отправляет на сервер лицензирования информацию об установленной сборке
Добавлено заполнение комментария из «Снежинки»
При перенастройке строки проекта способ выгрузки «Добавление» нельзя изменить
При установке флага сегмента флаг «Nullable» снимается автоматически
При использовании подключения «Apache Kafka», если нет схемы, скрывается колонка «Тип»
При выгрузке структуры проекта в DCC, в нее добавлены «ИдентификаторСтроки» и «КлючСтроки»
Если при получении задачи из DCC проект уже выполняется, то задача получает статус «waiting» и ожидает своей очереди
При выгрузке зарегистрированных измененных данных добавлена возможность выгрузки «Даты регистрации изменений»
Исправлены ошибки
Вычисляемого поля с параметром, когда ругается на добавление атрибута структуры (имя ключа содержит точку «Параметр.ИмяПараметра»
BUGFIX-153289. При выборе чекбокса «NULL» на этапе сопоставления полей не устанавливать nullable на сегмент
HOTFIX-128507. Новые поля из запроса добавляются в выбранные поля. Если поле было удалено из выбранных, а не выключено, то оно снова добавится
FIX-155027. Неправильно указан движок таблицы при создании снежинки в базе ClickHouse. Вместо движка таблицы подставлялся движок базы
HOTFIX-148835. Ошибка копирования строки проекта (F9)
FIX-155611. Ошибка восстановления комментария при загрузке шаблона «Снежинки»
FIX-131187. Ошибка создания шаблона из формы списка в УПП 1.3.
FIX-137699. Ошибка очистки очереди на платформе до 8.3.3.
FIX-154739. Apache Kafka. При повторном открытии помощника, поля «P» и «S» не восстановились
FIX-154949. Ошибка инсталлятора в обычном приложении
FIX-148865. Список таблиц ClickHouse отображал в списке доступных таблиц VIEW (представления)
FIX-154789. Дублирование авто вычисляемых полей
FIX-133787. Не позволяет выбрать параметры обработчика в качестве сегментов при создании
FIX-154551. Ошибка удаления не существующего subject.
FIX-152441. ClickHouse. Ошибка десериализации значения по умолчанию
FIX-155649. Для коннектора DCC поле «Наименование» было не обязательным для заполнения
FIX-155637. Полные права Экстрактора не содержат прав на очередь DCC
Релиз 3.6.3.76
Выпущена новая версия инсталлятора, в котором реализована возможность работы через proxy (данный функционал находится на этапе тестирования)
Реализована возможность добавления вычисляемых полей «метаданных» регистрации. Для того, чтобы в новых проектах добавлялись поля с метаданными необходимо заполнить настройки во вкладке «Данные»
В историю выполнения проектов выводится количество
В интерфейс Экстрактора 1С вынесен переход в Личный кабинет
Реализована поддержка выгрузки в UUID для ClickHouse
Добавлена кнопка очистки регистра замеров времени
На этапе сопоставления полей при создании проекта добавлены флаги NULL и NOT NULL для всех полей, а также по умолчанию проставляются флаги у всех полей, кроме сегмента
Исправлены ошибки:
Восстановлена работа каскадной выгрузки «Снежинка»
HOTFIX-150639. Ошибка проверки существования представления через db.proxy
HOTFIX-124629. При инициализации проекта не учитывался отбор, заданный в строке проекта
HOTFIX-150379. Логическая ошибка функции СтрРазделитьСПроверкойПар
HOTFIX-136343. Для ролей Экс_ПолныеПрава и Экс_Полные_Права по умолчанию снят флаг «Устанавливать права для новых объектов»
BUGFIX-139051. На этапе маппинга между Источником и Приемником не восстанавливается имя приемника при снятии флага «Не выгружать»
PostgreSQL:
HOTFIX-145181. Не сохраняется порядок поля индекса
Ошибка при выгрузке через файлы при использовании подключения HHTP v1
Обратите внимание! Не рекомендуется использовать HHTP proxy, так как он является устаревшим и оставлен для совместимости со старыми версиями. HHTP proxy не поддерживает выгрузку через файлы.
Microsoft SQL Server:
HOTFIX-151913. Ошибка выгрузки поля с типом TEXT через файл
ClickHouse:
HOTFIX-147615. Ошибка выгрузки типа DateTime64 ClickHouse через файл
HOTFIX-147363. Реализована проверка выгрузки типа “Дата” в ClickHouse
HOTFIX-152217. Ошибка конвертации в тип Int32 в ClickHouse
Apache Kafka:
HOTFIX-151669. Если в помощнике для Apache Kafka не установить тип схемы, то возникает ошибка
HOTFIX-147853. При загрузке шаблона подключения Apache Kafka с proxy, не показывает параметры подключения к proxy
HOTFIX-151681. Ошибка выгрузки проекта, сформированного «Снежинкой» в Apache Kafka
Релиз 3.6.1.31
В очереди добавлено поле «ВременнаяТаблица».
При создании временной таблицы поле сохраняется в записи очереди, при удалении – автоматически удаляется. При повторном запуске проверяется очередь на оставшиеся временные таблицы, после чего они удаляются.
Добавлено удаление оставшихся временных таблиц от предыдущих сеансов выгрузки
Исправлены ошибки:
для 8.2 и «Толстого клиента»:
HOTFIX-132925. Попытка передачи с клиента на сервер мутабельного значения в толстом клиенте без прав на очередь выгрузки
HOTFIX-146669. Исправлена ошибка «Нарушение прав доступа!» при записи проекта без прав администрирования
HOTFIX-147143. Исправлена ошибка выгрузки при установке параметра «начало этого дня»
ClickHouse:
Произведена корректировка выгрузки значений дат для ClickHouse ниже 23 версии
HOTFIX-148033. Исправлена ошибка отображения императивной партиции ClickHouse при повторном открытии проекта
HOTFIX-148035. Исправлена ошибка выгрузки императивной партиции с типом Date(32)
PostgreSQL:
HOTFIX-145181. Не сохраняется порядок поля индекса для Postgre
MS SQL Server:
HOTFIX-148053. Исправлена ошибка удаления индекса MSSQL (если таблица начинается с цифр в названии)
Db.Proxy.Service:
Исправлена ошибка конвертации дат в db.proxy.service
Исправлена строка подключения к db.proxy.service
Для db.proxy.service был виден пароль подключения
Релиз 3.6.1.9
Поддержана выгрузка таймзон для полей в формате date/DateTime (опционально, включается в настройках)
Экстрактор 1С в BI от Денвик - полноценное, универсальное решение для безболезненной выгрузки любых данных из 1С, которое сокращает затраты на поддержку БД и загрузку программиста 1С.
После выгрузки с помощью Экстрактора от Денвик данные можно использовать для дальнейшей аналитики и визуализации показателей эффективности продаж, маркетинга, производства и других результатов деятельности компании.
Qlever Solutions обладает одной из самых обширных в России практик разработки и поддержки BI-решений. Мы разрабатываем аналитические приложения и помогаем в интеграции систем бизнес-аналитики с внешними платформами, в том числе, с 1С.
Превратим таблицы из 1С в красивый дашборд
Свяжитесь с нами. Установим Экстрактор от Денвик и внедрим BI под ключ для анализа любых данных из 1С