Видео: Какво е намаляване по ключ?
2024 Автор: Lynn Donovan | [email protected]. Последно модифициран: 2023-12-15 23:43
Функцията Spark RDD reduceByKey обединява стойностите за всяка ключ с помощта на асоциативно намаляват функция. Това интуитивно означава, че тази функция дава същия резултат, когато се прилага многократно върху същия набор от RDD данни с множество дялове, независимо от реда на елемента.
Тогава каква е разликата между groupByKey и reduceByKey?
groupByKey () е просто да групирате вашия набор от данни въз основа на ключ. smanjitiByKey () е нещо като групиране + агрегиране. smanjitiByKey може да се използва, когато работим с голям набор от данни. aggregateByKey() е логически същото като smanjitiByKey (), но ви позволява да върнете резултат в различен Тип.
Също така Знайте, защо намаляването е действието в искра? Намаляване на искрата операцията е действие вид операция и задейства пълно изпълнение на DAG за всички подредени мързеливи инструкции. Искра RDD намаляват функцията намалява елементите на този RDD, използвайки посочения комутативен и асоциативен двоичен оператор. Намаляване на искрата операцията е почти подобна на намаляват метод в Scala.
Освен по-горе, какво е Pairrdd?
Spark предоставя специални операции върху RDD, съдържащи двойки ключ/стойност. Тези RDD се наричат двойки RDD. Сдвоените RDD са полезен градивен елемент в много програми, тъй като те разкриват операции, които ви позволяват да действате паралелно върху всеки ключ или да прегрупирате данни в мрежата. Сдвоете RDD са двойки КЛЮЧ/СТОЙНОСТ.
ReductionByKey действие ли е?
reducira() извежда колекция, която не добавя към насочената ациклична графика (DAG), така че се изпълнява като действие . Въпреки това, smanjitiByKey () връща RDD, който е просто друго ниво/състояние в DAG, следователно е трансформация.
Препоръчано:
Какво е частен ключ и публичен ключ в Blockchain?
Когато някой ви изпрати криптовалути през Blockchain, той всъщност ги изпраща до хеширана версия на това, което е известно като „Публичен ключ“. Има друг ключ, който е скрит от тях, известен като „частен ключ“. Този частен ключ се използва за извличане на публичния ключ
Какво е първичен ключ и външен ключ в db2?
Външният ключ е набор от колони в таблица, които трябва да съответстват на поне един първичен ключ на ред в друга таблица. Това е референтно ограничение или ограничение за референтна цялост. Това е логично правило за стойности в множество колони в една или повече таблици
Коя методология на Six Sigma се използва за идентифициране и намаляване на променливостта в процесите?
Методологията на DMAIC е стандартът Six Sigma за това как да се идентифицират вариации в процеса, да се анализира основната причина, да се даде приоритет на най-изгодния начин за премахване на дадена вариация и да се тества корекцията
Какво е първичен ключ вторичен ключ и външен ключ?
Външен ключ: Първичният ключ една таблица се появява (с кръстосана препратка) в друга таблица. Вторичен (или алтернативен) ключ: Всяко поле в таблицата, което не е избрано да бъде някой от двата типа по-горе
Какво е пасивно намаляване на шума?
Пасивното шумопотискане е шумът, който слушалките блокират въз основа на физическия дизайн на чашките за уши. Въз основа на формата на наушниците за слушалките и начина, по който се поставят над главата, до голяма степен определя колко шум могат да блокират слушалките. По този начин те позволяват максимално намаляване на външния шум