Съдържание:

Как да стартирам сървъра на Spark History?
Как да стартирам сървъра на Spark History?

Видео: Как да стартирам сървъра на Spark History?

Видео: Как да стартирам сървъра на Spark History?
Видео: Евгений Борисов — Spring Data? Да, та! 2024, Може
Anonim

За да активирате сървъра за история на Spark:

  1. Създайте директория за регистрационни файлове на събития във файловата система DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Когато регистрирането на събития е активирано, поведението по подразбиране е всички регистрационни файлове да бъдат запазени, което води до увеличаване на паметта с течение на времето.

Освен това, как да настроя сървър на Spark History?

За да активирате сървъра за история на Spark:

  1. Създайте директория за регистрационни файлове на събития във файловата система DSEFS: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Когато регистрирането на събития е активирано, поведението по подразбиране е всички регистрационни файлове да бъдат запазени, което води до увеличаване на паметта с течение на времето.

По същия начин, как да намеря URL адреса на сървъра на Spark History? Напр. за сървър за история , те обикновено биха били достъпни на сървър - url >:18080/api/v1, а за работещо приложение на адрес https://localhost:4040/api/v1. В приложния програмен интерфейс (API) приложението се препраща от неговия идентификатор на приложение, [app-id].

По същия начин, какво е Spark History сървър?

В Сървърът за история на Spark е инструмент за наблюдение, който показва информация за завършени Искра приложения. Тази информация е изтеглени от данните, които приложенията по подразбиране записват в директория на Hadoop Distributed File System (HDFS).

Какво е Sparkui?

Spark Web UI ви позволява да видите списък с етапи и задачи на планировчика, информация за околната среда, информация за работещите изпълнители и др. Гледайте тази 30-минутна демонстрация, за да научите за: Компоненти и жизнен цикъл на програма Spark. Как вашето приложение Spark работи в клъстер Hadoop.

Препоръчано: