Проблема с памятью при запуске Kafka broker



Я новичок в технологиях Кафки и Хадупа. Я пытался установить и запустить свой первый одиночный узел, кластер Single Broker на экземпляре виртуальной машины AWS EC2, я закончил с:



1) Установка java



2) Обновление ~/.bashrc and ~/.nash_profile файлов с записями, связанными с java



3) Возможность запуска внутреннего экземпляра zookeeper, но



4) Как только я пытаюсь запустить Kafka broker, он выдает мне следующее сообщение об ошибке:



$ bin/kafka-server-start.sh config/server.properties
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0130000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)

There is insufficient memory for the Java Runtime Environment to continue.
Native memory allocation (malloc) failed to allocate 986513408 bytes for committing reserved memory.
An error report file with more information is saved as:
/usr/local/kafka/hs_err_pid2549.log


Я не уверен, что делаю что-то не так. Это AWS EC2 VM экземпляр-это недавно созданный Ubuntu-t2.микро-экземпляр с общим объемом SSD 8 ГБ.
557   2  

2 ответов:

Поэтому я считаю, что ошибка, которую вы получаете, касается оперативной памяти, а не памяти SSD.

Я сделал быстрый поиск в google, и это похоже на t2.микро-аккаунт имеет только 1 ГБ оперативной памяти? Это правильно? Из ошибки и из этого ответа переполнения стека , кажется, что у вас недостаточно оперативной памяти. Он говорит, что malloc запросил 986mb или память, которая в основном составляет 1gb, и у вас есть только 1gb на вашей машине.

Это была проблема с памятью. Я обновил значение минимального и максимального выделения памяти в kafka-server-startup.sh и еще zookeeper-server-start.sh as export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" и started zookeeper и Kafka servers оба работали нормально. Спасибо

Comments

    Ничего не найдено.