hadoop- все статьи тега ➜ страница 2
Когда начинаются задачи сокращения в Hadoop?
в Hadoop когда начинаются задачи сокращения? Они начинаются после завершения определенного процента (порога) картографов? Если да, то является ли этот порог фиксированным? Какой порог обычно используется? ...
ошибка нехватки памяти в Hadoop
Я попытался установить Hadoop после этого http://hadoop.apache.org/common/docs/stable/single_node_setup.html документ. Когда я попытался выполнить это bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+' Я получаю следующее исключение java.lang.OutOfMemoryError: Java heap space пожалуйста, предложите решение, чтобы я мог попробовать пример. Все исключения перечислены ниже. Я новичок в Hadoop я мог бы сделать что-то глупое . Любое предложение будет высоко ценится. anuj@anu ...
Может ли apache spark работать без hadoop?
существуют ли какие-либо зависимости между Искра и Hadoop? Если нет, есть ли какие-либо функции, которые я пропущу при запуске Искра без Hadoop? ...
Запись на несколько выходов с помощью ключа Spark-одно задание Spark
как вы можете писать на несколько выходов, зависящих от ключа, используя Spark в одном задании. связанный: запись на несколько выходов с помощью ключа ошпаривания Hadoop, одно задание MapReduce например. sc.makeRDD(Seq((1, "a"), (1, "b"), (2, "c"))) .writeAsMultiple(prefix, compressionCodecOption) обеспечили бы cat prefix/1 - это a b и cat prefix/2 будет c ответ для точного ответа с полным импортом, pimp и кодеком сжатия см. https://stackoverflow.com/a/46118044/1586965 ...
Есть ли способ получить имя столбца вместе с выводом при выполнении любого запроса в Hive?
в улье, когда мы делаем запрос (например:select * from employee), мы не получаем никаких имен столбцов в выходных данных (например, имя, возраст, зарплата, которую мы получили бы в РСУБД SQL), мы получаем только те ценности. есть ли способ получить имена столбцов, которые будут отображаться вместе с выводом при выполнении любого запроса? ...
Масштабируемое Хранилище Изображений
в настоящее время я разрабатываю архитектуру для веб-приложения, которое также должно обеспечивать какое-то хранилище изображений. Пользователи смогут загружать фотографии в качестве одной из ключевых функций сервиса. Также просмотр этих изображений будет одним из основных способов использования (через интернет). однако я не уверен, как реализовать такой масштабируемый компонент хранения изображений в моем приложении. Я уже думал о различных решениях, но из-за отсутствия опыта, я с нетерпением ...