Аренда Кластера
Мне интересно, есть ли кластеры, доступные для аренды.
Сценарий:
У нас есть программа, которая займет, по нашим оценкам, неделю для запуска(после оптимизации) в данном файле. Вполне возможно, что и дольше. К сожалению, нам также нужно сделать около 300 + различных файлов, что приводит к приблизительно 300 неделям вычислительного времени (округляется до 6 лет непрерывной работы wallclock). Для исследовательской работы, которая должна быть выполнена-самое позднее-к декабрю, это просто неприемлемо. Пока мы изучаем другие варианты, я изучаю возможность просто арендовать кластер Беовульфа. Работа является академической и приведет к получению степени доктора философии.
Идеальным вариантом была бы компания, в которую мы посылаем исходные файлы и файлы заданий, а затем через неделю или две получаем файлы результатов. Вуаля!
Быстрый поиск в гугле не дает ничего особенно многообещающего.
Предлагаемые Решения?
10 ответов:
Я не знаю, где ты делаешь свою докторскую диссертацию... Большинство азиатских, европейских и североамериканских университетов имеют несколько кластеров. Вы можете
Кроме того, классический трюк заключается в использовании неиспользуемого времени компьютеров вашей лаборатории/университета... В принципе, на каждом компьютере выполняется клиентское приложение, которое хруст чисел, когда компьютер не используется. См. http://boinc.berkeley.edu/
- познакомьтесь непосредственно с людьми в лаборатории, которая отвечает за кластер.
- попросите вашего доктора философии организовать это. Может быть, у него есть друзья, которые могут справиться с этим.
Amazon EC2 (Elastic Compute Cloud) звучит именно так, как вы ищете. Вы можете подписаться на одну или несколько виртуальных машин (до 20 автоматически, больше, если Вы запросите разрешение ), начиная с $0.10 в час за виртуальную машину, плюс затраты на пропускную способность (бесплатно между машинами EC 2 и другими веб-сервисами Amazon ). Вы можете выбрать между несколькими операционными системами (различные дистрибутивы Linux, OpenSolaris, Windows, Если вы платите дополнительно), и вы можете использовать уже существующую машину образы или создавайте свои собственные. Если вы используете все программное обеспечение с открытым исходным кодом и не имеете больших затрат на пропускную способность, это будет стоить вам около $5000, чтобы выполнить свою работу (предполагая, что ваши 6 лет вычислительного времени были для чего-то сравнимого с их небольшими экземплярами, с одним виртуальным процессором).
Как только вы зарегистрируетесь на сервис и получите свои инструменты, довольно легко запустить новые виртуальные машины. Я даже потратил $ 0.10, чтобы запустить машину на несколько минут просто чтобы проверить ответ, который я давал кому-то здесь на StackOverflow; я хотел проверить что-то на Solaris, поэтому я просто загрузил экземпляр и имел в своем распоряжении виртуальную машину Solaris в течение 5 минут.
Резьба была прекрасно оборудованы следующими удобствами: указатели в Amazon ЕС2 - и правильно. Они самые зрелые в этой области. Недавно они выпустили свою платформу elastic map-reduce, которая звучит примерно так же (хотя и не совсем), как то, что вы пытаетесь сделать. Google-это не вариант для вас, поскольку их вычислительная модель не поддерживает общую вычислительную модель, которая вам нужна.
Для академического / научного использования есть несколько общественных центров, предлагающих возможности HPC. В Европе есть ДЕЙСА. http://www.deisa.eu/ и члены DEISA. Подобные возможности должны быть и в США, возможно, через НСФ.
Для коммерческого использования проверьте предложения IBM Deep Computing On Demand. http://www-03.ibm.com/systems/deepcomputing/cod/
Есть несколько способов получить время на кластерах.
- время покупки в Amazon elastic cloud. В зависимости от того, насколько хорошо вы знакомы с их сервисом, может потребоваться время, чтобы настроить его так, как вы хотите.
Подойдите к университету и посмотрите, есть ли у них коммерческая программа, чтобы сдавать время компаниям. Я знаю, что некоторые так и делают. Один из них, о котором я знаю, - это программа частного сектора в NCSA в UIUC. В зависимости от учреждения, они также предлагают портирование и оптимизацию сервис для вашего кода.
Или вы можете арендовать процессорное время у частного поставщика.
Я из Словении, и, например, здесь у нас есть отличный частный провайдер под названием Arctur. Ребята были услужливы и отзывчивы, когда я связался с ними.Вы можете найти их здесь: hpc.arctur.net
Один из вариантов заключается в том, чтобы арендовать виртуальные ресурсы, эквивалентные любому необходимому количеству ПК, и настроить их в виде кластера, используя Amazon Elastic Compute Cloud.
Создание беовульфского кластера из них вполне возможно.
Проверьте эту ссылку , которая предоставляет ресурсы и программное обеспечение, чтобы сделать именно это.
Перейти к: http://www.extremefactory.com/index.php Истинный кластер HPC, до 200 TFlops.
Comments