Въведение в RDD
За да разберете основната функционалност на набора Resilient Distributed Data (RDD), е важно да знаете основите на Spark. Той е основен компонент в Spark. Spark е двигател за обработка на данни, който осигурява по-бърза и лесна анализация. Spark извършва обработка в паметта с помощта на устойчиви набори от разпределени данни. Това означава, че той улавя повечето данни в паметта. Той помага при управлението на разпределената обработка на данни. След това може да се погрижи и за трансформацията на данните. Всеки набор от данни в RDD първо се разделя на логически части и може да се изчисли на различни възли на клъстера.
дефиниция
Еластичният разпределен набор от данни е основният компонент на Spark. Всеки набор от данни е разделен на логически части и те могат лесно да бъдат изчислени в различни възли на клъстера. Те могат да се експлоатират паралелно и са устойчиви на повреда. RDD обекти могат да бъдат създадени от Python, Java или Scala. Може да включва и класове, определени от потребителя. За да получите по-бързи, ефективни и точни резултати, Spark използва RDD. RDD могат да бъдат създадени по два начина. Едно може да бъде паралелизиране на съществуваща колекция във вашата програма за драйвери Spark Context. Другият начин може да бъде препратка към набор от данни във външна система за съхранение, който може да бъде HDFS, HBase или друг източник, който има формат на Hadoop файл.
разбиране
За да го разберем по-добре, трябва да знаем как са различни и кои са отличителните фактори. По-долу са няколко фактора, които отличават RDD.
1. В паметта: Това е най-важната характеристика на RDD. Колекцията от създадени обекти се съхранява в паметта на диска. Това увеличава скоростта на изпълнение на Spark, тъй като данните се извличат от данни, които са в паметта. Няма нужда данни да се извличат от диска за каквато и да е операция.
2. Мързелива оценка: Преобразуването в Spark е мързеливо. Данните, които са налични в RDD, не се изпълняват, докато върху тях не се извърши каквото и да е действие. За получаване на данните потребителят може да използва действие count () на RDD.
3. Cach Enable: Тъй като RDD е мързеливо оценена, действията, които се извършват върху тях, трябва да бъдат оценени. Това води до създаването на RDD за всички трансформации. Данните могат също да се запазят в паметта или диска.
Как RDD прави работата толкова лесна?
RDD ви позволява да имате всички входни файлове като всяка друга присъстваща променлива. Това не е възможно чрез използване на намаление на картата. Тези RDD се разпределят автоматично през наличната мрежа чрез дялове. Всеки път, когато се изпълнява действие, се стартира задача за всеки дял. Това насърчава паралелизма, повече броя на дяловете, повече паралелизма. Дяловете се определят автоматично от Spark. След като това е направено, две операции могат да се извършват от RDD. Това включва действия и трансформации.
Какво можете да направите с RDD?
Както бе споменато в предишната точка, той може да се използва за две операции. Това включва действия и трансформации. В случай на трансформация се създава нов набор от данни от съществуващ набор от данни. Всеки набор от данни се предава чрез функция. Като възвръщаема стойност изпраща ново RDD като резултат.
Действията от друга страна връщат стойност на програмата. Той извършва изчисленията на необходимия набор от данни. Тук, когато се изпълнява действието, не се създава нов набор от данни. Следователно те могат да бъдат казани като RDD операции, които връщат стойности, които не са RDD. Тези стойности се съхраняват или на външни системи, или на драйвери.
Работа с RDD
За да работите ефективно с него е важно да следвате стъпките по-долу. Започвайки с получаването на файловете с данни. Те могат лесно да се получат, като се използва команда за импортиране. След като това е направено, следващата стъпка е създаването на файлове с данни. Обикновено данните се зареждат в RDD чрез файл. Той може да бъде създаден и с помощта на команда за паралелизиране. След като това е направено, потребителите могат лесно да започнат да изпълняват различни задачи. Трансформации, които включват трансформация на филтри, трансформация на карта, където карта може да се използва и с предварително дефинирани функции. Могат да се извършват и различни действия. Те включват събиране на действие, броене на действия, предприемане на действия и т.н. След като RDD е създаден и се правят основни трансформации, тогава RDD се взема проба. Извършва се чрез използване на пробна трансформация и предприемане на пробно действие. Трансформациите помагат при прилагането на последователни трансформации, а действията помагат при извличането на дадената извадка.
Предимства
По-долу са основните свойства или предимства, които отличават RDD.
1. Неизменни и разделени: Всички записи са разделени и следователно RDD е основната единица на паралелизма. Всеки дял е логически разделен и е неизменен. Това помага за постигане на последователност на данните.
2. Операции с грубо зърно: Това са операциите, които се прилагат към всички елементи, които присъстват в набор от данни. За да се разработи, ако набор от данни има карта, филтър и група чрез операция, те ще бъдат изпълнени на всички елементи, които присъстват в този дял.
3. Трансформация и действия: След създаване на действия данните могат да се четат само от стабилно съхранение. Това включва HDFS или чрез извършване на трансформации към съществуващи RDD. Действията също могат да се извършват и записват отделно.
4. Толерантност на грешки: Това е основното предимство при използването му. Тъй като се създава набор от трансформации, всички промени се записват и по-скоро реалните данни не се предпочитат да бъдат променяни.
5. Устойчивост: Може да се използва повторно, което ги прави устойчиви.
Необходими умения
За RDD трябва да имате основна идея за екосистемата Hadoop. След като имате идея, можете лесно да разберете Spark и да се запознаете с концепциите в RDD.
Защо трябва да използваме RDD?
RDD са разговорите за града главно поради скоростта, с която обработва огромни количества данни. RDD са устойчиви и не са устойчиви на повреди, което прави данните да останат устойчиви.
Обхват
Той има много обхвати, тъй като е една от нововъзникващите технологии. Разбирайки RDD, можете лесно да получите знания за обработката и съхранението на огромни количества данни. Данните, които са градивен елемент, правят задължително да остане RDD.
Нужда от RDD
За да се извършват операции с данни бързо и ефективно се използват RDD. Концепцията в паметта помага за бързото получаване на данни, а повторното използване го прави ефикасен.
Как RDD ще помогне в кариерния растеж?
Той се използва широко в обработката на данни и анализа. След като научите RDD, вие ще можете да работите със Spark, което днес е силно препоръчително в технологиите. Можете лесно да поискате повишаване, както и да кандидатствате за високоплатени работни места.
заключение
В заключение, ако искате да останете в индустрията на данни и анализа, това със сигурност е плюс. Ще ви помогне да работите с най-новите технологии с пъргавина и ефективност.
Препоръчителни статии
Това е ръководство за Какво е RDD ?. Тук обсъдихме концепцията, обхвата, нуждата, кариерата, разбирането, работата и предимствата на RDD. Можете също да прегледате и другите ни предложени статии, за да научите повече-
- Какво е виртуализация?
- Какво е Big Data Technology
- Какво е Apache Spark?
- Предимства на OOP