Каква версия на Python използва spark?
Каква версия на Python използва spark?

Видео: Каква версия на Python използва spark?

Видео: Каква версия на Python използва spark?
Видео: Will Polars replace Pandas for Data Science? 2024, Ноември
Anonim

Искра работи на Java 8+, Python 2,7+/3,4+ и R 3,1+. За API на Scala, Искра 2.3. 0 използва Scala 2.11. Вие ще трябва използване съвместима Scala версия (2.11.

Съответно, Spark работи ли с Python 3?

Apache Искра е клъстерна изчислителна рамка, която в момента е една от най-активно разработените на сцената на Big Data с отворен код. От последната версия 1.4 (юни 2015 г.), Искра поддържа R и Python 3 (за да допълни досегашната поддръжка за Java, Scala и Python 2).

Освен по-горе, как да променя Spark версията на Python? В случай, че само искате промяна на версия на python за текущата задача можете да използвате следната команда за стартиране на pyspark: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ python PYSPARK_PYTHON=/usr/local/anaconda2/bin/ python pyspark --майстор..

Освен това, коя е най-новата версия на Spark?

Apache Spark

Оригинален автор(и) Матей Захария
Първоначално освобождаване 26 май 2014 г
Стабилно освобождаване 2.4.5 / 8 февруари 2020 г
Хранилище Spark Repository
Написано в Скала

Какво е spark Python?

Укротяване на големи данни с Apache Искра и Python Py4J е популярна библиотека, интегрирана в нея PySpark това позволява python интерфейс динамично с JVM обекти (RDD). Apache Искра идва с интерактивна обвивка за python както за Scala. Черупката за python Е познат като PySpark ”.

Препоръчано: