В результате цифровой трансформации происходит накопление больших объемов данных, которые могут быть использованы для принятия эффективных управленческих решений и совершенствования бизнес-процессов. Чтобы сделать данные драйвером новых возможностей бизнеса и важнейшим активом компании, необходимо автоматизировать их сбор, качественную обработку и преобразование в массивы, подходящие для использования при реализации бизнес-задач компании.
Компания «Диасофт» разработала программный продукт Digital Q.DataStreamer для сбора, обработки и загрузки данных в хранилище или другие системы-потребители информации (ETL), а также для интеграции между собой различных информационных систем. Автоматизация сложных процессов преобразования данных из множества потоков помогает экономить время и усилия, сохраняя при этом контроль над любыми поступающими данными.
Digital Q.DataStreamer входит в состав технологической платформы Digital Q.DataFlows и поддерживает сценарии как потоковой, так и пакетной обработки данных, в зависимости от бизнес-задач или формата работы источников и приемников данных. Продукт позволяет реализовать различные сценарии интеграции данных: от простой репликации до сложных задач подготовки и преобразования данных с помощью интерфейса drag’n’drop.
Digital Q.DataStreamer состоит из следующих компонентов:
-
Дизайнер потоков данных (ETL-процессов): low-code инструмент для простого и быстрого проектирования ETL-процессов, настройки параметров и событий.
-
Инструменты исполнения ETL-процессов: средства запуска и исполнения настроенных ETL-процессов.
-
Инструменты мониторинга: средства визуального отслеживания хода исполнения ETL-процессов и выявления возможных ошибок.
-
Планировщик: позволяет настроить расписания выполнения ETL-процессов.
Запуск процессов в Digital Q.DataStreamer может осуществляться автоматически, после настройки через планировщик, а также при помощи HTTP-запросов через REST API, из пользовательского интерфейса продукта, по событию в Apache Kafka.
Digital Q.DataStreamer поддерживает взаимодействие с различными типами баз данных: реляционными (PostgreSQL, Oracle, MS SQL и др.), специализированными аналитическими СУБД (Arenadata DB, ClickHouse), документарными (ElasticSearch).
Для получения более подробной информации о продукте напишите нам: dataflows@diasoft.ru.