yarn- все статьи тега
Искра Отправить Вопрос
Я пытаюсь запустить жирную банку на кластере искр, используя Spark submit. Я сделал кластер, используя исполняемый файл "spark-ec2" в Spark bundle на AWS. Команда, которую я использую для запуска файла jar, является bin/spark-submit --class edu.gatech.cse8803.main.Main --master yarn-cluster ../src1/big-data-hw2-assembly-1.0.jar Вначале это давало мне ошибку, что по крайней мере одна из переменных окружения HADOOP_CONF_DIR или YARN_CONF_DIR должна быть установлена. Я не знал, на что их настро ...
Что такое "Hadoop" - определение Hadoop?
Это отчасти очевидно, и мы все согласимся, что мы можем назвать HDFS + YARN + MapReduce как Hadoop. Но что происходит с различными другими комбинациями и другими продуктами в экосистемеHadoop ? Является ли, например, HDFS + YARN + Spark все еще Hadoop ? Есть HBASE Хадуп? я думаю, мы рассмотрим HDFS + YARN + Pig Hadoop , так какPig использует MapReduce. Являются только инструментыMapReduce , рассматриваемые Hadoop , но все остальное работает на HDFS + YARN (например Spark ) - это non Hadoop ? ...
Как избежать того, чтобы Spark executor потерялся и контейнер пряжи убил его из-за ограничения памяти?
У меня есть следующий код, который срабатывает hiveContext.sql() большую часть времени. Моя задача состоит в том, чтобы создать несколько таблиц и вставить значения в после обработки для всех разделов таблицы hive. Поэтому я сначала запускаю show partitions и, используя его выход в цикле for, вызываю несколько методов, которые создают таблицу (если она не существует) и вставляют в них с помощью hiveContext.sql. Теперь мы не можем выполнить hiveContext в исполнителе, поэтому я должен выполнит ...