Съдържание:

Мога ли да пусна Spark локално?
Мога ли да пусна Spark локално?
Anonim

Spark може бъда бягай използвайки вградения самостоятелен планировчик на клъстери в местен режим. Това означава, че всички Искра процеси са бягай в рамките на една и съща JVM - ефективно, единичен, многонишков екземпляр на Искра.

В тази връзка, как да стартирам Apache Spark локално?

Следващите стъпки показват как да инсталирате Apache Spark

  1. Стъпка 1: Проверка на инсталирането на Java.
  2. Стъпка 2: Проверка на инсталацията на Scala.
  3. Стъпка 3: Изтегляне на Scala.
  4. Стъпка 4: Инсталиране на Scala.
  5. Стъпка 5: Изтегляне на Apache Spark.
  6. Стъпка 6: Инсталиране на Spark.
  7. Стъпка 7: Проверка на инсталацията на Spark.

Освен това, можем ли да стартираме spark без Hadoop? Според Искра документация, Spark може да работи без Hadoop . Вие може пусни го като самостоятелен режим без всеки мениджър на ресурси. Но ако Вие искам да бягай при настройка с множество възли, Вие се нуждаете от мениджър на ресурси като YARN или Mesos и разпределена файлова система като HDFS , S3 и др. Да, Spark може да работи без hadoop.

Освен по-горе, как да стартирам spark в самостоятелен режим?

Да инсталираш Самостоятелен режим на Spark , просто поставяте компилирана версия на Искра на всеки възел в клъстера. Можете да получите предварително изградени версии на Искра с всяко издание или го изградете сами.

Може ли Spark да работи на Windows?

А Искра приложение мога бъде а Windows -shell скрипт или той мога бъде персонализирана програма на написана Java, Scala, Python или R. Трябва ви Windows изпълними файлове, инсталирани на вашата система, за да бягай тези приложения.

Препоръчано: