Въведение в Hadoop Schedulers

Когато говорим за Hadoop, първото нещо, което изскача ума ни, са големите данни. Но дали някога сме се чудили, че Hadoop сам по себе си не е просто технология, а вместо това обхваща много инструменти и техники, така че как точно можем да постигнем автоматично намереното чрез Hadoop. Отговорът на този въпрос е чрез използване на планиращите Hadoop.

Тя дава възможност за високо ниво на обработка на системата и е известна още като система с общо предназначение, която действа на нивото на разпространение на набор от данни и информация. Това е многозадачна система, която се използва за обработка на множество набори данни за много потребители и работни места едновременно. По-рано за всички задачи беше използван само един планировчик, но сега планиращите Hadoop са тези, които се използват заедно с логиката на JobTracker и се поддържат и от Hadoop.

Топ 4 типа Hadoop Schedulers

Има няколко типа планиращи Hadoop, които често използваме:

1. Hadoop First in First out Scheduler

  • Както подсказва името, това е един от най-старите планиращи работни места, който работи на принципа „първо и първо“. По принцип, когато говорим за процеса като този на JobTracker, говорим за издърпване на работни места от опашката, за което често се казва, че е работната опашка.
  • Съгласно тази работна опашка най-старата, т.е. тази, която е била първата, ще бъде първата, която ще бъде изпълнена.
  • Винаги се смяташе, че това е много по-опростен подход в сравнение с другите техники за планиране и затова не се обмисляше много да се изписва тази техника, само за да се намерят по-нови подходи с по-добри възможности за планиране, тъй като те също включват в себе си концепции за оразмеряване и приоритет на работата.

2. Планировчик на капацитета на Hadoop

  • Планировникът на капацитета на Hadoop е повече или по-малко подобен на FIFO подхода, с изключение на това, че използва и приоритет на работата. Този е с малко по-различен подход, когато говорим за многопотребителското ниво на планиране.
  • Това е известно, че планира и симулира отделен MapReduce клъстер за всяка организация или потребител и което се прави заедно с типа FIFO.

3. Планировчик на Hadoop Fair Type

  • Когато възникне необходимост от осигуряване на отделно и разумно количество капацитет на клъстери с време и период, ние използваме графичния график на Hadoop. Полезно е да получите всички клъстери, дори ако определена работа е в работещо състояние.
  • Освен това всички безплатни слотове на клъстера се предоставят на всички работни места по такъв начин, че всеки потребител получава нормализиран дял от частта на своя клъстер, тъй като повече задачи стават полезни за подаване.
  • Ако има пул, който все още не е получил своята част от справедливия дял и нормализиран дял за сравнително добър период от време и период, тогава превенцията влиза в игра, като по този начин убива всички обединени задачи и работи с капацитета за предоставяне на този пул слотове за работа с капацитет.
  • Освен това, това е известно също като модул contrib, което означава, че чрез копиране на Hadoop контролната и честна директория, базирана на директорията, в директорията, базирана на lib и поставянето на JAR файла на подходящо място, тази техника на планиране може да бъде активирана. Единственото нещо, което е необходимо да се направи, е настройването на свойството на планиращия задачите да се картографира.FairScheduler.

4. Други подходи по отношение на Scheduler

  • Hadoop гарантира, че предлага предлагането на виртуални клъстери, което означава, че необходимостта от физически действителни клъстери могат да бъдат сведени до минимум и тази техника е известна като HOD (Hadoop on Demand).
  • Използва мениджъра на ресурси, базиран на Torque, за да поддържа възлите и разпределението им при изискване на виртуалния клъстер.
  • Използва се за инициализиране на натоварването и системата, която се основава на конкретните възли във виртуалния, а не физически клъстер, както и заедно с разпределените възли, само след като конфигурационните файлове се подготвят автоматично.
  • HOD клъстерът също може да се използва по сравнително много независим начин, след като се извърши инициализацията. С две думи, модел с ядки, който се използва за разполагане на тези големи Hadoop клъстери, е в облачната инфраструктура и това се нарича HOD. Той споделя сравнително по-малък брой възли и следователно осигурява по-голяма степен на сигурност.

Значение на използването на Hadoop Schedulers

  1. От видовете Hadoop Schedulers трябва да е ясно къде се крие значението на използването на Hadoop Schedulers. Ако използвате голям клъстер, който има различни видове работни места, различни приоритети и размери, заедно с множество клиенти, след това изберете правилния вид Hadoop планировчик, който да стане важен.
  2. Това е важно, тъй като осигурява гарантиран достъп до неизползваното ниво на капацитет и оптимално използване на ресурсите, като дава приоритет на работните места ефективно в опашките. Въпреки че тази част от планиращите Hadoop е сравнително лесна, тъй като използването на справедливи планиращи програми най-вече е правилният избор, ако има разлика между броя и типовете клъстери, работещи в рамките на една организация.
  3. Този справедлив планировчик все още може да се използва за осигуряване и неравномерно разпределение на капацитета на пулове от работни места и се извършва по много по-опростен и конфигурируем начин. Справедливият график също ни помага, когато говорим за наличието на разнообразен вид работни места, тъй като може да се използва за осигуряване на по-високи времена на реакция за сравнително по-малки работни места, които са смесени с по-големите видове работни места и подкрепата за тях е включена в интерактивното използване на модели.
  4. Планировщиците на капацитет са полезни, когато сте по-загрижени за опашките, вместо за нивото на създадени пулове, а също така и конфигурируемото ниво на картата и намаляването на слотовете за работни места са на разположение и опашката може да си позволи да получи гарантиран капацитет на клъстера.

заключение

В тази публикация четем за планиращите Hadoop, тяхното значение, въведение, видове Hadoop планиращи, техните функции и също научихме за значението на тези Hadoop планиращи. Когато човек се отнася до екосистемата и околната среда с големи данни, Hadoop планировщиците са нещо, за което често не се говори, но има изключително значение и не може да бъде позволено да бъде оставено така, както е. Надявам се, че сте харесали нашата статия.

Препоръчителни статии

Това е ръководство за Hadoop Schedulers. Тук обсъждаме въвеждането и топ 4 вида Hadoop планировчик с важността на използването му. Можете също да разгледате следните статии, за да научите повече-

  1. Компоненти на люлка в Java
  2. JTabbedPane на Java
  3. Защитена ключова дума в Java
  4. JTextArea в Java

Категория:

Голяма информация