Научете 10-те най-добри разлики между MapReduce срещу прежда

Разлика между намаление на картата и прежда

Преждата означава още един преговарящ ресурс, тя е новата рамка за управление на ресурси (памет и процесор). Помага ни в разработването на разпределено приложение от всякакъв вид, осигурява ни необходими демони и API. Друга важна характеристика на YARN е, че обработва и планира заявка за ресурси от приложението и помага на процеса да изпълни заявката. YARN е обща платформа за стартиране на всяко разпределено приложение, Map Reduce версия 2 е разпределеното приложение, което работи над YARN, Докато картата намаляване е обработваща единица на компонента Hadoop, тя обработва данни паралелно в разпределената среда. Така че основно намалява работата на огромни компоненти на данни, той обработва данните и съхранява в HDFS по такъв начин, че извличането е по-лесно от традиционното съхранение.

Сравнение между главата на MapReduce и Прежда (Инфографика)

По-долу е топ 10 на сравнение между MapReduce срещу прежда

Ключова разлика между MapReduce срещу прежда

В Hadoop 1 има два компонента, първият е HDFS (разпределена файлова система Hadoop), а вторият е Map Reduct. Като има предвид, че в Hadoop 2 той също има два компонента HDFS и YARN / MRv2 (обикновено наричаме YARN като Map намаление версия 2).
В Намаление на картата, когато Map-Redu спре да работи, след това автоматично всичките му подчинени устройства ще спрат да работят. Това е единственият сценарий, при който изпълнението на задачи може да се прекъсне и се нарича една точка на отказ. YARN преодолява този проблем поради своята архитектура, YARN има концепцията за възел на активно име, както и възел за име на готовност. Когато активният възел спре да работи за известно време, пасивният възел започва да работи като активен възел и продължава изпълнението.
Намаляването на картата има единична архитектура на главен и множествен подчинен, Ако основният подчинен роб се срине, целият роб ще спре да работи, това е единствената точка на провал в HADOOP1, докато HADOOP2, който се основава на архитектурата на YARN, има концепцията за множество главни и подчинени, ако един майстор слиза надолу, тогава друг мастър ще възобнови процеса си и ще продължи изпълнението.
Както можем да видим на диаграмата по-долу, разликата в двете екосистеми HADOOP1 и HADOOP2. Компонентно управление на YARN Resource Management взаимодейства с Map-Reduct и HDFS.

Така че по същество YARN е отговорен за управлението на ресурсите означава коя работа ще бъде изпълнена от коя система да вземе решение от YARN, докато намаляването на картата е рамка за програмиране, която е отговорна за начина на изпълнение на определена работа, така че в основата на намаляването на картата има два компонента картограф и редуктор за изпълнение на програма.

В Map намалете всеки възел на данни, който се изпълнява поотделно, докато в Прежда всеки възел от данни се изпълнява от мениджър на възел.
Намаляването на карта използва Job tracker за създаване и присвояване на задача на проследяващ задачи поради данни, управлението на ресурса не е впечатляващо, което води до това, че някои от възлите за данни ще останат бездействащи и няма полза, докато в YARN има Resource Manager за всеки клъстер и всеки възел на данни изпълнява Node Manager. За всяка работа по един подчинен възел ще действа като Главен Приложение, следейки ресурси / задачи.

Таблица за сравнение на MapReduce срещу прежда

Основа за сравнение	прежди	Намаляване на картата
значение	Преждата е още един преговарящ ресурс.	Намаляването на картата се самоопределя.
версия	Въведете в Hadoop 2.0	Въведете в Hadoop 1.0
отговорност	Сега YARN отговаря за частта за управление на ресурсите.	По-рано Map намаляване беше отговорно за управлението на ресурсите, както и за обработката на данни
Модел на изпълнение	Моделът на изпълнение на преждата е по-общ в сравнение с намалението на Map	По-малко генерични в сравнение с преждата.
Изпълнение на приложение	YARN може да изпълнява и тези приложения, които не следват модела за намаляване на картата	Map Reduce може да изпълни собствено приложение, базирано на модел.
архитектура	Преждата е въведена в MR2 отгоре на инструмента за проследяване на задачи и проследяване на задачи. На мястото на инструмента за проследяване на работа и приложението за проследяване на задачи, майсторът влиза в картината.	В по-ранната версия на MR1, YARN не е. На мястото на YARN е имало проследяване на задачи и проследяване на задачи, които помагат при изпълнението на заявление или задания
гъвкавост	Преждата е по-изолирана и мащабируема	По-малко мащабируем в сравнение с преждата.
Демони	YARN има име възел, възел на данни, вторичен име на възел, мениджър на ресурси и мениджър на възли	Намаляването на картата има възел име, възел данни, възел на вторично име, проследяване на задачи и проследяване на задачи.
ограничаване	В YARN няма концепция за единична точка на отказ, тъй като тя има множество Masters, така че ако един се провали друг майстор ще го вземе и ще продължи изпълнението.	Единична повреда, ниско използване на ресурсите (макс. 4200 клъстера от YAHOO) и по-малка мащабируемост в сравнение с YARN
размер	По подразбиране размерът на възел за данни в YARN е 128MB	По подразбиране размерът на възел за данни в намалението на Map е 64MB.

Заключение - MapReduce срещу прежда

В Hadoop 1, който е базиран на намаление на картата, има няколко проблема, които в Hadoop 2 преодоляват с Прежда. Както в Hadoop 1 проследяващият задачите отговаря за управлението на ресурсите, но YARN има концепцията за мениджър на ресурси, както и мениджър на възли, който ще поеме управлението на ресурсите. Намалението на картата има една точка на отказ, т.е. Проследяване на работа, ако проследяващият задачи спре да работи, тогава трябва да рестартираме целия си клъстер и да изпълним отново работата си от Initial. В реален сценарий никоя от организациите не иска да поема такъв риск, особено в сектора на банковата отбрана. Такава организация, която работи по оптимизиране на данни, няма да е готова да поеме този вид риск. За няколко минути те ще загубят своите данни и може да имат критично въздействие върху бизнеса. Така YARN има по-добър резултат спрямо намаляването на Map.

Препоръчителен член

Това е ръководство за MapReduce срещу прежди, тяхното значение, сравнение между главата, ключови разлики, таблица на сравнението и заключение. Можете също да разгледате следните статии, за да научите повече -