Съдържание:

Кои са основните конфигурационни параметри, които потребителят трябва да посочи, за да изпълни заданието на MapReduce?
Кои са основните конфигурационни параметри, които потребителят трябва да посочи, за да изпълни заданието на MapReduce?

Видео: Кои са основните конфигурационни параметри, които потребителят трябва да посочи, за да изпълни заданието на MapReduce?

Видео: Кои са основните конфигурационни параметри, които потребителят трябва да посочи, за да изпълни заданието на MapReduce?
Видео: CS50 2015 - Week 5 2024, Ноември
Anonim

Основните конфигурационни параметри, които потребителите трябва да посочат в рамката „MapReduce“са:

  • Работни места входни места в разпределената файлова система.
  • Работни места изходно местоположение в разпределената файлова система.
  • Формат за въвеждане на данни.
  • Изходен формат на данните.
  • Клас, съдържащ функцията map.
  • Клас, съдържащ функцията за намаляване.

Тук кои са основните конфигурационни параметри в програма MapReduce?

Основните конфигурационни параметри в рамката „MapReduce“са:

  • Въведете местоположение на работни места в разпределената файлова система.
  • Изходно местоположение на работни места в разпределената файлова система.
  • Форматът за въвеждане на данни.
  • Изходният формат на данните.
  • Класът, който съдържа функцията map.
  • Класът, който съдържа функцията за намаляване.

Човек може също да попита какви са параметрите на маперите и редукторите? Четирите параметъра за картографи са:

  • Long Writable (вход)
  • текст (въвеждане)
  • текст (междинен изход)
  • IntWritable (междинен изход)

Също така въпросът е кои са основните компоненти на заданието MapReduce?

  • Основен клас драйвер, който предоставя параметри за конфигурация на заданието.
  • Класът на Mapper, който трябва да разшири org. apache. hadoop. съпоставям. Клас Mapper и предоставяне на реализация на метода map ().
  • Клас редуктор, който трябва да разшири org. apache. hadoop. съпоставям. Клас редуктор.

Какво е partitioner и как помага в процеса на работа на MapReduce?

Разпределител в Задача MapReduce execution контролира разделянето на ключовете на междинните карти-изходи. С помогне на хеш функцията, ключът (или подмножество от ключа) извлича дял . Записите с една и съща стойност на ключа влизат в същото дял (във всеки картограф).

Препоръчано: