...

Система обработки
больших данных

Описание

Система обработки больших данных (СОБД) включает в себя компоненты, с помощью которых возможно осуществлять интеграцию со смежными системами в части извлечения и загрузки данных в пакетном режиме. В составе СОБД такие популярные инструменты по сбору, хранению и обработке данных, как Apache Hadoop, Apache Hive, Apache Airflow, Apache Drill. Для мониторинга состояния инфраструктуры, на которой будет развёрнута СОБД, в её состав входит компонент Prometheus. Для развёртнывания кластеров распределенной масштабируемой обработки данных в состав СОБД включен компонент Arenadata Cluster Manager.

СОБД построена по модульной архитектуре, что позволяет дополнять её необходимыми подсистемами и/или отдельными компонентами. Ниже в разделе "Компоненты" представлены навигационные ссылки на некоторые из компонентов СОБД. Подключение подсистем СОБД к источникам данных (информационным системам), может осуществляться с использованием протоколов взаимодействия JDBC, HTTPS, SFTP. Этим функционалом обладает компонент Airflow. Подключение потребителей данных к подсистемам СОБД, может осуществляться с использованием протокола взаимодействия JDBC. Для этого можно воспользоваться компонентом Hive ибо Drill.

Компоненты

Часто задаваемые вопросы

... нет ответа

... нет ответа

... нет ответа