executors- все статьи тега ➜ страница 0

Как избежать того, чтобы Spark executor потерялся и контейнер пряжи убил его из-за ограничения памяти?

У меня есть следующий код, который срабатывает hiveContext.sql() большую часть времени. Моя задача состоит в том, чтобы создать несколько таблиц и вставить значения в после обработки для всех разделов таблицы hive. Поэтому я сначала запускаю show partitions и, используя его выход в цикле for, вызываю несколько методов, которые создают таблицу (если она не существует) и вставляют в них с помощью hiveContext.sql. Теперь мы не можем выполнить hiveContext в исполнителе, поэтому я должен выполнит ...