ГлавнаяТелекомСобытияApache учреждает новый проект больших данных

Apache учреждает новый проект больших данных

большие данные

Организация Apache Software Foundation объявила о запуске проекта Arrow, призванного обеспечить более чем 100-кратное увеличение производительности для колоночной in-memory аналитики на разнородных системах.

большие данные

В общем случае ускорение распределенных рабочих нагрузок достигается устранением избыточных межсистемных коммуникаций. Arrow позволяет разделять доступ к данным между многими системами и обрабатывать их без (де)сериализации или создания копий данных, экономя от 70 до 80% циклов центрального процессора.

Согласно официальной информации, Apache Arrow создаётся на основе кода родственного проекта Apache Drill и при участии разработчиков из других проектов больших данных Apache — Calcite, Cassandra, Hadoop, HBase, Impala, Kudu, Parquet, Phoenix, Spark и Storm.

«Сообщество open-source объединило усилия в работе над Apache Arrow, — заявил Жак Надо, вице-президент по проектам Arrow и Drill. — Мы ожидаем, что через несколько лет большинство данных в мире будет обрабатываться с применением Arrow».

«Промышленный стандарт на слой колоночных in-memory данных позволит комбинировать многочисленные системы, приложения и языки программирования в единой рабочей нагрузке без обычной избыточности», — считает Тед Даннинг, вице-президент Apache Incubator.

Вдобавок к обычным реляционным, Arrow поддерживает сложные данные с динамическими схемами, например, JSON, используемые в IoT-нагрузках, современных приложениях и журнальных файлах, сообщает ko.com.ua.

ПО Apache Arrow предлагается на условиях Apache License v2.0 и контролируется самоизбранной группой наиболее активных участников этого проекта.

В Facebook Messenger появится реклама
Презентацию новых флагманских смартфонов Galaxy S7 и Galaxy S7 edge можно будет смотреть в формате «360 градусов»
Оформление подписки
Оформить подписку на журнал InfoCity вы можете заполнив приведенную
ниже форму. Стоимость одного выпуска — 1 манат.
Ваше имя
Адрес доставки журнала и номер телефона для контактов
Число месяцев подписки
Благодарим вас за подписку!