ArcGIS GeoAnalytics Engine: инструмент для работы с пространственными данными в Apache Spark

Объемы корпоративных данных продолжают расти экспоненциальными темпами, все больше организаций используют накопленные данные в качестве источника информации для принятия решений. Существенная часть этих данных содержит информацию о местоположении в виде географических координат, либо привязку к существующим пространственным объектам. Таким образом, так называемые “большие данные” все чаще являются одновременно геопространственными данными.

Чтобы получить полезные для компании результаты пространственного анализа, аналитики и специалисты Data Science, которые работают с данными, должны соединить вместе множество несвязанных между собой библиотек, предназначенных для обработки пространственных данных. Либо самостоятельно писать код, который будет производить импорт данных из разных форматов, преобразование из одной проекции в другую и выполнять пространственный анализ. Все это отнимает время, которое аналитик может потратить непосредственно на решение исследовательских задач или на разработку предсказательной модели.

Несколько лет назад появился продукт ArcGIS GeoAnalytics, в котором разработчики Esri соединили возможности геоинформационной системы ArcGIS и фреймворк для обработки больших данных Spark. Этот продукт реализован как компонент платформы ArcGIS и предназначен для ГИС пользователей, которым нужно обрабатывать большие объемы пространственных данных с помощью привычных инструментов.

Есть большое количество организаций, в которых уже развернута собственная инфраструктура обработки больших данных в облаке или на базе собственных серверов. Для таких пользователей Esri предлагает продукт ArcGIS GeoAnalytics Engine.

Его можно развернуть и использовать в составе:

·        Amazon EMR

·        Azure Databricks

·        Azure Synapse Analytics

·        Google Cloud Dataproc

·        Spark single node

·        Корпоративном кластере Spark

ArcGIS GeoAnalytics Engine включает в себя более 120 пространственных функций и инструментов, которые могут использоваться в корпоративной инфраструктуре пользователя в облаке или в закрытом контуре. Кроме того, он предлагает широкий спектр средств пространственного анализа, возможности которые выходят за рамки того, что предлагает в большинстве библиотек пространственного анализа с открытым исходным кодом. При этом все инструменты доступны в рамках одного приложения.

Ключевые возможности ArcGIS GeoAnalytics Engine

Полная интеграция с Apache Spark—обрабатывайте пространственные данные любых объемов на базе функций и инструментов разработанных и проверенных компанией Esri, мировым лидером рынка ГИС-систем.

Простота использования —соединяйте функции обработки больших пространственных данных в цепочки и с помощью интуитивно понятного API построенного на базе PySpark.

100+ пространственных SQL функций — Создавайте геометрические объекты, проверяйте пространственные взаимоотношения и производите другие операции с использованием языков Python и SQL.

Мощные инструменты анализа - запускайте инструменты пространственного и статистического анализа с помощью несколько строчек кода.

Автоматическое построение пространственных индексов—выполняйте объединение, пересечение и другие пространственные операции с максимальной производительностью.

Читайте и записывайте данные из различных источников— загружайте данные из шейп-файлов, сервисов объектов и векторных тайлов.

Поддержка облачной инфраструктуры—продукт протестирован и готов к инсталляции в облачных сервисах Databricks, Amazon EMR, Azure Synapse, и Google Cloud Dataproc.

Поскольку ArcGIS GeoAnalytics Engine выполняет пространственный анализ за пределами инфраструктуры ArcGIS, есть только два существенных условия для использования:

Версия кластера Spark. GeoAnalytics Engine может быть запущен в кластере, который использует Apache Spark версий 3.0.1 или 3.2.x. Это может быть кластер Spark установленный в корпоративной сети вашей организации или вы можете использовать Spark на базе внешнего облачного сервиса. Список совместимых версий Spark доступен в статье установка и настройка. 

Пространственные данные должны быть совместимы с Spark. Функции и инструменты, которые предоставляет GeoAnalytics Engine созданы для работы с векторными геометрическими объектами (такими как точки, линии, полигоны и мультиточки). Они не работают с растровыми данными. Данные также должны храниться в источнике, к которому Spark может подключиться.  

Начать знакомство с продуктом

Чтобы узнать больше, переходите на страницу продукта на сайте Esri: ArcGIS GeoAnalytics Engine.

Примеры кода и обучающие примеры можно посмотреть на странице: Начало работы

Пример применения GeoAnalytics Engine в облачной платформе Databrics.