python-multiprocessing- все статьи тега ➜ страница 0
Вложенный параллелизм в многопроцессорной системе Python
Я знаю, что это звучит как что-то, о чем спрашивали раньше, но подождите, я объясню, почему другие варианты не работают. В настоящее время я использую multiprocessing.Pool для реализации параллелизма в приложении и хотел бы расширить его, чтобы иметь возможность использовать вложенный параллелизм. Наивный подход простой передачи Объекта Pool в качестве аргумента apply_async не работает , Как отмечалось в других ответах, потому что Pool нельзя замариновать. Вот мои требования: Мне нужен как ...
Python Chunking CSV файл мультипроцессорная обработка
Я использую следующий код для разбиения CSV-файла на несколько блоков (источник: здесь) def worker(chunk): print len(chunk) def keyfunc(row): return row[0] def main(): pool = mp.Pool() largefile = 'Counseling.csv' num_chunks = 10 start_time = time.time() results = [] with open(largefile) as f: reader = csv.reader(f) reader.next() chunks = itertools.groupby(reader, keyfunc) while True: # make a list of num_chunks chun ...
Отправка "случайного" трафика через сеть Mininet
Я хочу протестировать алгоритм маршрутизации центра обработки данных с помощью Mininet. Трафик должен соответствовать определенным параметрам: он должен состоять из" файлов " различных размеров (обратите внимание, что они на самом деле не должны быть файлами; трафик, генерируемый, например, iperf, в порядке, пока размер контролируется); размеры файлов должны быть взяты из конкретного дистрибутива; пары источник/конечный узел, между которыми передаются данные, должны выбираться случайным обр ...
многопроцессорный.Пул: в чем разница между map async и imap?
Я пытаюсь узнать, как использовать в Python multiprocessing пакет, но я не понимаю разницы между map_async и imap. Я заметил, что оба map_async и imap выполняются асинхронно. Так когда я должен использовать один над другим? И как я должен получить результат, возвращенный map_async? должен ли я использовать что-то вроде этого? def test(): result = pool.map_async() pool.close() pool.join() return result.get() result=test() for i in result: print i ...