Въведение в архитектурата на преждата Hadoop
MapReduce беше използван за управление на ресурси и обработка в по-ранната версия на Hadoop 1.0. Тук Job Tracker извърши разпределението на ресурсите, планирането и мониторинга на задачите, като назначи карта и намали задачите на Track Track. Това доведе до проблеми като мащабируемост, неефективно използване на ресурсите. Тъй като рамката на Hadoop претърпя няколко промени през годините; можем да видим, че може да се използва за извършване на много повече, отколкото само за изпълнение на задачите MapReduce. YARN означава още един преговарящ ресурс, който се нарича система за управление на клъстери на Hadoop, която беше въведена с Hadoop 2.0 за поддръжка на разпределени изчисления, което също подобрява внедряването на MapReduce. В YARN, мениджърът на ресурси и планиращите програми са външни за рамката. Така че, в YARN, въпреки че имаме възли за данни, вече няма проследяващи задачи или проследяващи задания. Също с YARN можем да имаме управление на ресурсите, както и общо планиране. В тази тема ще се запознаем с различната архитектура на YARN
Обяснете архитектурата на Hadoop Прежди с диаграма
(Архитектура на Hadoop ПРЕВОД)
YARN представя концепцията за мениджър на ресурси и магистър на приложения в Hadoop 2.0. Мениджърът на ресурси вижда използването на ресурсите в клъстера Hadoop, докато жизненият цикъл на приложенията, които се изпълняват в определен клъстер, се контролира от Master Master. По принцип можем да кажем, че за ресурсите на клъстера, Приложението Master преговаря с Resource Manager. Тази задача се изпълнява от контейнерите, които съдържат определени ограничения на паметта. Тогава тези контейнери се използват за изпълнение на специфични за приложението процеси, а също и тези контейнери се контролират от мениджърите на възли, които работят на възли в клъстера. Това ще потвърди, че приложението не използва повече от разпределените ресурси.
Различни компоненти на Прежда
По-долу са различните компоненти на Прежда.
1) Мениджър на ресурси
YARN работи чрез Resource Manager, който е един на възел, и Node Manager, който работи на всички възли. Мениджърът на ресурси управлява ресурсите, използвани в клъстера и Node Manager обядва и наблюдава контейнерите. Scheduler и Application Manager са два компонента на Resource Manager.
- График : Планирането се извършва въз основа на изискването на ресурси от приложенията. YARN предоставя няколко планиращи, от които да избирате и те са Честен и Капацитетен планировчик. В случай на повреда на хардуер или приложение, планировчикът не гарантира рестартиране на неуспешните задачи. Също така, Scheduler разпределя ресурси за работещите приложения въз основа на капацитета и опашката.
- Мениджър на приложения : Той управлява изпълнението на Application Master в клъстер и при отказ на контейнера за главни приложения, той помага при рестартирането му. Освен това тя носи отговорността да приеме подаването на работните места.
2) Мениджър на възли
Node Manager отговаря за изпълнението на задачата във всеки възел от данни. Мениджърът на възли в YARN по подразбиране изпраща сърдечен пулс до диспечера на ресурси, който носи информацията за работещите контейнери и относно наличието на ресурси за новите контейнери. Той е отговорен за наблюдението на възлите на клъстера поотделно и управлява работния процес и заданията на потребителите на конкретен възел. Главно управлява контейнерите за приложения, които са назначени от Resource Manager. Мениджърът на възли стартира контейнерите, като създава контейнерните процеси, които са заявени, и също убива контейнерите, както е поискано от диспечера на ресурси.
3) Контейнери
Контейнерите са набор от ресурси като RAM, CPU и памет и т.н. на един възел и те се планират от Resource Manager и се наблюдават от Node Manager. Контейнерният жизнен цикъл управлява контейнерите YARN, като използва контекста за стартиране на контейнера и осигурява достъп до приложението за специфичното използване на ресурси в конкретен хост.
4) Главен кандидат
Той следи изпълнението на задачите и също така управлява жизнения цикъл на приложенията, работещи в клъстера. Индивидуалният магистър на приложения се свързва с дадена задача, когато е изпратен в рамките. Основната му отговорност е да договаря ресурсите от Resource Manager. Работи с Node Manager за наблюдение и изпълнение на задачите.
За да стартирате приложение чрез YARN, се изпълняват следните стъпки.
- Клиентът се свързва с Мениджъра на ресурси, който иска да стартира процеса на кандидатстване, т.е. той изпраща YARN приложението.
- Следващата стъпка е, че диспечерът на ресурси търси Node Manager, който от своя страна ще стартира приложението Master в контейнер.
- Мастърът на приложенията може или да изпълни изпълнението в контейнера, в който се изпълнява в момента, и да предостави резултата на клиента, или може да поиска повече контейнери от мениджъра на ресурси, които могат да се нарекат разпределени изчисления.
- След това клиентът се свързва с диспечера на ресурси, за да следи състоянието на приложението.
С MapReduce в Hadoop версия 1.0 (MRV1) броят на картите и редуциращите слотове бяха дефинирани на възел. Също така в клъстер Hadoop, тъй като хардуерните възможности варираха и броят на задачите на конкретен възел трябваше да бъде ограничен ръчно. Но с YARN този недостатък се преодолява, тъй като тук Resource Manager знае за капацитета на всеки възел, докато комуникира с Node Manager, който работи на всеки възел.
Заключение - Архитектура на Hadoop YARN
YARN помага за преодоляване на проблема с мащабируемостта на MapReduce в Hadoop 1.0, тъй като разделя работата на Job Tracker, както на планирането на работа, така и на мониторинга на напредъка на задачите. Също така, проблемът с наличността също се преодолява, както по-рано в Hadoop 1.0 провалът на Job Tracker доведе до рестартиране на задачите. YARN дойде с много добавени бонуси като по-добро използване на ресурсите, тъй като няма фиксиран слот за задачи, тъй като осигурява централно управление на ресурсите. Така че с YARN много от проблемите, с които се сблъскват в по-ранната версия на Hadoop, са преодолени, тъй като това помага при отделяне на обработката на данни от планиране и управление на ресурси. С YARN е възможно да стартирате интерактивни заявки независимо, както и да осигурите по-добър анализ в реално време.
Препоръчителни статии
Това е ръководство за архитектурата на Hadoop YARN. Тук обсъждаме различните компоненти на YARN, които включват Resource Manager, Node Manager и Containers, заедно с архитектурата. Можете да разгледате и другите ни предложени статии, за да научите повече -
- Екосистема Apache Hadoop
- Компоненти на екодосистемата Hadoop
- Компоненти на Hadoop
- Екосистема Hadoop