S3 базиран ли е на HDFS?
S3 базиран ли е на HDFS?

Видео: S3 базиран ли е на HDFS?

Видео: S3 базиран ли е на HDFS?
Видео: HDFS — введение в Hadoop и MapReduce 2024, Март
Anonim

S3 всъщност е безкрайно съхранение в облак, но HDFS не е. HDFS се хоства на физически машини, така че можете да изпълнявате всяка програма там. Не можете да изпълните нищо върху S3 тъй като е просто обектен магазин, а не FS.

Тогава s3 е разпределена файлова система?

S3 не е а разпределена файлова система . Това е хранилище за двоични обекти, което съхранява данни в двойки ключ-стойност. По същество това е вид NoSQL база данни. Всяка кофа е нова „база данни“, като ключовете са вашият „път към папката“, а стойностите са двоични обекти ( файлове ).

Някой може също да попита дали AWS е базиран на Hadoop? Hadoop е рамка, която помага за обработката на големи набори от данни на множество компютри. Тя включва Map/Reduce (паралелна обработка) и HDFS (разпределена файлова система). AWS е склад за данни построен на върха на собствена технология, първоначално разработена от ParAccel.

Освен това, как да прехвърля файлове от s3 към HDFS?

Отговор. Няма директен начин за копиране на файлове от S3 в HDFS без да минава през местно файлове . Въпреки това, можете да използвате компонента tSystem в стандартно задание, за да извикате родния Hadoop команда, която обикновено използвате копиране на файлове , например, s3 -dist-cp.

Какво е s3 база данни?

Amazon S3 или Amazon Simple Storage Service е услуга, предлагана от Amazon Web Services (AWS), която осигурява съхранение на обекти чрез интерфейс на уеб услуга. Amazon S3 използва същата мащабируема инфраструктура за съхранение, която Amazon.com използва, за да управлява своята глобална мрежа за електронна търговия.

Препоръчано: