Когда начинаются задачи сокращения в Hadoop?

фаза уменьшения может начаться задолго до вызова редуктора. Как только "а" отображатель заканчивает работу, то полученные данные подвергаются определенному сортировка и перетасовка (которая включает в себя призыв к комбайнера и утилиты). Редуктор "фаза"срабатывает в момент начала обработки данных post mapper. По мере выполнения этой обработки вы увидите прогресс в процентах редукторов. Однако ни один из редукторов еще не был вызван. В зависимости от количества доступных/используемых процессоров, характера данных и количество ожидаемых редукторов, вы можете изменить параметр, как описано @Donald-miner выше.

насколько я понимаю, уменьшите фазу начала с фазы карты и продолжайте потреблять запись с карт. Однако, поскольку существует фаза сортировки и перетасовки после фазы карты, все выходы должны быть отсортированы и отправлены в редуктор. Таким образом, логически вы можете себе представить, что фаза уменьшения начинается только после фазы карты, но на самом деле по причине производительности редукторы также инициализируются с помощью картографов.

процент, показанный для фазы уменьшения, фактически составляет объем данных, скопированных из выходных данных карт во входные каталоги редукторов. Чтобы узнать, когда начинается это копирование? Это конфигурация, которую вы можете установить, как Дональд показал выше. После того, как все данные копируются в редукторы (т. е. 100% reduce) именно тогда редукторы начинают работать и, следовательно, могут замерзнуть в "100% reduce", если ваш код редукторов является интенсивным вводом-выводом или процессором.

Рассмотрим пример WordCount, чтобы лучше понять, как работает задача map reduce.Предположим, у нас есть большой файл, скажем, роман и наша задача-найти, сколько раз каждое слово встречается в файле. Поскольку файл большой, он может быть разделен на разные блоки и реплицирован в разных рабочих узлах. Слова графа задание состоит из задач map и reduce. Задача map принимает в качестве входных данных каждый блок и создает промежуточную пару ключ-значение. В этом примере, так как мы подсчитывая количество вхождений слов, картограф при обработке блока приведет к промежуточным результатам формы (word1, count1), (word2, count2) и т. д. Промежуточные результаты всех картографов передаются через фазу перемешивания, которая будет переупорядочивать промежуточный результат.

предположим, что вывод нашей карты из разных картографов имеет следующий вид:

Карта 1:- (is, 24) (был,32) (и,12)

Карта2 :- (мой,12) (is, 23) (было 30)

выходные данные карты сортируются таким образом, что одни и те же ключевые значения задаются одному и тому же редуктору. Здесь это означало бы, что ключи, соответствующие is, was и т. д., идут одинаково reducer.It это редуктор, который производит конечный выход,который в этом случае будет:- (а, 12) (есть, 47) (мой, 12) (был,62)

сокращение начинается только после того, как все картографы выловили там задачу, редуктор должен общаться со всеми картографами, поэтому он должен ждать, пока последний картограф не закончит свою задачу.однако mapper начинает передавать данные в тот момент, когда он выполнил свою задачу.

когда Mapper завершает свою задачу, то редуктор начинает свою работу, чтобы уменьшить данные это задание Mapreduce.

задачи редуктора начинаются только после completion из всех картографов.

но передача данных происходит после each карта. На самом деле это операция вытягивания.

это означает, что каждый раз редуктор будет спрашивать каждую maptask, если у них есть некоторые данные для повторного использования с карты.Если они обнаружат , что какой-либо картограф выполнил свою задачу, редуктор вытащит промежуточные данные.

промежуточные данные от Mapper хранятся в disk. И передача данных от Mapper для уменьшения происходит через сеть (Data Locality не сохраняется в фазе уменьшения)