Разлика между Hadoop срещу Spark
Hadoop е рамка с отворен код, която позволява да се съхраняват и обработват големи данни в разпределена среда в клъстери от компютри. Hadoop е проектиран да мащабира от един сървър до хиляди машини, където всяка машина предлага локални изчисления и съхранение. Spark е клъстер изчисления с отворен код, проектиран за бързи изчисления. Той осигурява интерфейс за програмиране на цели клъстери с имплицитен паралелизъм на данни и отказоустойчивост. Основната характеристика на Spark е изчислението в клъстера в паметта, което увеличава скоростта на приложение.
Hadoop
- Hadoop е регистрирана търговска марка на софтуерната фондация Apache. Той използва прост програмен модел за извършване на необходимата операция сред клъстерите. Всички модули в Hadoop са проектирани с фундаментално предположение, че хардуерните повреди са често срещано явление и трябва да се справят с рамката.
- Тя стартира приложението, използвайки алгоритъма MapReduce, където данните се обработват паралелно на различни CPU възли. С други думи, рамката Hadoop е достатъчно способна да разработва приложения, които са в състояние да работят на клъстери от компютри и те биха могли да извършат пълен статистически анализ за огромно количество данни.
- Ядрото на Hadoop се състои от част за съхранение, която е известна като Hadoop разпределена файлова система и обработваща част, наречена модела на програмиране MapReduce. Hadoop по принцип разделя файлове на големите блокове и ги разпределя в клъстерите, прехвърля пакетния код в възли, за да обработва паралелно данни.
- Този набор от данни да се обработва по-бързо и по-ефективно. Други модули на Hadoop са често срещани Hadoop, което е куп Java библиотеки и помощни програми, върнати от Hadoop модули. Тези библиотеки предоставят файлова система и абстракция на ниво операционна система, съдържат също така необходими Java файлове и скриптове за стартиране на Hadoop. Hadoop Прежда също е модул, който се използва за планиране на работни места и управление на ресурси от клъстери.
искра
- Spark е построен на върха на модула Hadoop MapReduce и разширява модела MapReduce, за да използва ефективно ефективността на повече видове изчисления, които включват интерактивни заявки и поточна обработка. Spark беше въведена от софтуерната фондация Apache, за да ускори процеса на изчислителни изчислителни технологии на Hadoop.
- Spark има собствено управление на клъстерите и не е модифицирана версия на Hadoop. Spark използва Hadoop по два начина - един е съхранение, а втори - обработка. Тъй като управлението на клъстери пристига от самата Spark, то използва Hadoop само за целите на съхранението.
- Spark е един от подпроектите на Hadoop, който е разработен през 2009 г., а по-късно става отворен код под лиценз на BSD. Той има много прекрасни функции, като променя определени модули и включва нови модули. Той помага да стартирате приложение в клъстер Hadoop, многократно по-бърз в паметта.
- Това става възможно чрез намаляване на броя на операциите за четене / запис на диск. Той съхранява междинните данни за обработка в паметта, спестявайки операции за четене / запис. Spark също така предлага вградени API в Java, Python или Scala. По този начин човек може да пише приложения по много начини. Spark не само осигурява карта и стратегия за намаляване, но също така поддържа SQL заявки, поточни данни, машинно обучение и графични алгоритми.
Сравнение между главата на Hadoop срещу Spark (Инфографика)
По-долу е топ 8 разликата между Hadoop срещу Spark 
Ключови разлики между Hadoop срещу Spark
И Hadoop срещу Spark са популярен избор на пазара; нека да обсъдим някои от основните разлики между Hadoop и Spark:
- Hadoop е рамка с отворен код, която използва алгоритъм MapReduce, докато Spark е мълниеносна технология за изчисляване на клъстери, която разширява модела MapReduce за ефективно използване с повече видове изчисления.
- Моделът на MapReduce на Hadoop чете и записва от диск, като по този начин забавя скоростта на обработка, докато Spark намалява броя на циклите за четене / запис на диск и съхранява междинните данни в паметта, следователно по-бързата скорост на обработка.
- Hadoop изисква разработчиците да предават код на всяка операция, докато Spark е лесен за програмиране с RDD - Resilient Distributed Dataset.
- Моделът Hadoop MapReduce осигурява пакетна машина, следователно зависи от различни двигатели за други изисквания, докато Spark изпълнява партидни, интерактивни, машинно обучение и поточно предаване всички в един и същ клъстер.
- Hadoop е проектиран да управлява ефективно обработката на партиди, докато Spark е проектиран да обработва ефективно данните в реално време.
- Hadoop е изчислителна рамка с висока латентност, която няма интерактивен режим, докато Spark е изчисление с ниска латентност и може да обработва данни интерактивно.
- С Hadoop MapReduce програмистът може да обработва данни само в пакетен режим, докато Spark може да обработва данни в реално време чрез Spark Streaming.
- Hadoop е проектиран да борави с грешки и повреди, естествено е устойчив към неизправности, следователно и силно устойчива на повреда система, докато при Spark RDD позволява възстановяване на дялове на неуспешни възли.
- Hadoop се нуждае от външен планиращ работен ден например - Oozie, за да планира сложни потоци, докато Spark има изчисления в паметта, така че има собствен график на потока.
- Hadoop е по-евтина опция, като се сравнява по отношение на разходите, докато Spark изисква много оперативна памет, за да работи в паметта, като по този начин увеличава клъстера и следователно цената.
Таблица за сравнение на Hadoop срещу искри
Основното сравнение между Hadoop срещу Spark е разгледано по-долу
| Основата на сравнението между Hadoop срещу Spark |
Hadoop |
искра |
| категория | Основен двигател за обработка на данни | Двигател за анализ на данни |
| употреба | Пакетна обработка с огромен обем данни | Обработвайте данни в реално време от събития в реално време като Twitter, Facebook |
| латентност | Изчисляване с висока латентност | Изчисляване с ниска латентност |
| Данни | Обработвайте данни в пакетен режим | Може да обработва интерактивно |
| Лесна употреба | Моделът на MapReduce на Hadoop е сложен, трябва да се справят с ниско ниво на API | По-лесна за използване, абстракцията дава възможност на потребителя да обработва данни, използвайки оператори от високо ниво |
| Scheduler | Изисква се външен график за работа | Изчисляване в паметта, не се изисква външен планировчик |
| Сигурност | Силно защитена | По-малко сигурен в сравнение с Hadoop |
| цена | По-малко скъпи, тъй като моделът MapReduce предоставя по-евтина стратегия | По-скъп от Hadoop, тъй като има решение в паметта |
Заключение - Hadoop срещу Spark
Hadoop MapReduce позволява паралелна обработка на огромни количества данни. Той разбива голям парче на по-малки, които да бъдат обработвани отделно на различни възли за данни и автоматично събира резултатите от множество възли, за да върне един резултат. В случай, че полученият набор от данни е по-голям от наличната RAM, Hadoop MapReduce може да надмине Spark.
Spark, от друга страна, е по-лесен за използване от Hadoop, тъй като се предлага с удобни за потребителя API за Scala (родния му език), Java, Python и Spark SQL. Тъй като Spark предоставя начин за извършване на стрийминг, пакетна обработка и машинно обучение в един и същ клъстер, потребителите намират лесно да опростят инфраструктурата си за обработка на данни.
Окончателното решение за избор между Hadoop срещу Spark зависи от основния параметър - изискване. Apache Spark е много по-усъвършенстван двигател за клъстерни изчисления в сравнение с MapReduce на Hadoop, тъй като може да се справи с всякакъв тип изисквания, например пакетна, интерактивна, итеративна, стрийминг и т.н., докато Hadoop се ограничава само до пакетната обработка. В същото време Spark е по-скъп от Hadoop със своята функция в паметта, която в крайна сметка изисква много RAM памет. В крайна сметка всичко зависи от бюджета и функционалните изисквания на бизнеса. Надявам се сега сигурно имате по-справедлива представа и за Hadoop срещу Spark.
Препоръчителен член
Това е ориентир за най-високата разлика между Hadoop срещу Spark. Тук също обсъждаме ключовите разлики на Hadoop срещу Spark с инфографика и таблица за сравнение. Може да разгледате и следните статии за Hadoop срещу Spark, за да научите повече.
- Склад за данни срещу Hadoop
- Splunk срещу Spark
- Хадоп срещу Касандра - 17 страхотни разлики
- Pig vs Spark - кой е по-добър
- Hadoop срещу SQL производителност: разлика