Къде мога да намеря дънери за искри?

2024 Автор: Lynn Donovan | [email protected]. Последно модифициран: 2023-12-15 23:43

Дневник директории

Местоположението по подразбиране SPARK_WORKER_LOG_DIR е /var/ дневник / искра /работник. По подразбиране дневник директория за стартиране на Искра SQL Thrift сървърът е $HOME/ искра - пестелив сървър. Искра Обвивка и приложение трупи се извеждат на конзолата. Дневник конфигурационните файлове се намират в същата директория като искра -env.sh

Във връзка с това, как мога да получа дънери за искри?

Искра работа или кандидатура от страницата Анализ, можете да получите достъп до трупи чрез потребителския интерфейс на приложението и Искра Потребителски интерфейс на приложението. страница, можете да получите достъп до трупи чрез Искра Потребителски интерфейс на приложението. Можете също да допълните трупи за идентифициране на грешките и изключенията в Искра неуспехи на работа или приложение.

По същия начин, как проверявате трупите за прежда? Преглеждане на а дневник файл The трупи на главен код на приложението може да се види и в браузър в потребителския интерфейс на мениджъра на ресурси на прежда .resourcemanager.webapp.address}/cluster (https://localhost:8088 на един възел "клъстер").

По подобен начин някой може да попита как мога да получа регистрационни файлове на изпълнителя на Spark?

Отговор

1. Инструкции за получаване на регистрационните файлове на Spark executor:
2. За Amabari -- 1) Отидете на услугата Spark и раздела Configs: 2) Намерете записа „Advanced spark-log4j-properties“.
3. За Cloudera -- Задайте: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Как да намеря URL адреса на сървъра на моя Spark History?

Напр. за сървър за история , те обикновено биха били достъпни на сървър - url >:18080/api/v1, а за работещо приложение на адрес https://localhost:4040/api/v1. В приложния програмен интерфейс (API) приложението се препраща от неговия идентификатор на приложение, [app-id].