Искра Отправить Вопрос

Я пытаюсь запустить жирную банку на кластере искр, используя Spark submit.
Я сделал кластер, используя исполняемый файл "spark-ec2" в Spark bundle на AWS.

Команда, которую я использую для запуска файла jar, является

bin/spark-submit --class edu.gatech.cse8803.main.Main --master yarn-cluster ../src1/big-data-hw2-assembly-1.0.jar

Вначале это давало мне ошибку, что по крайней мере одна из переменных окружения HADOOP_CONF_DIR или YARN_CONF_DIR должна быть установлена.
Я не знал, на что их настроить, поэтому использовал следующую команду

export HADOOP_CONF_DIR=/mapreduce/conf

Теперь ошибка изменилась to

Could not load YARN classes. This copy of Spark may not have been compiled with YARN support.

Run with --help for usage help or --verbose for debug output

Структура домашнего каталога выглядит следующим образом

ephemeral-hdfs  hadoop-native  mapreduce  persistent-hdfs  scala  spark  spark-ec2  src1  tachyon

Я даже установил переменную YARN_CONF_DIR в то же значение, что и HADOOP_CONF_DIR, но сообщение об ошибке не меняется. Я не могу найти никакой документации, которая освещает этот вопрос, большинство из них просто упоминают эти две переменные и не дают никаких дополнительных подробностей.