Разлика между HBase срещу HDFS
В статията HBase срещу HDFS обемът на данните се увеличава с всеки изминал ден и е най-важно за организациите да съхраняват и обработват този огромен обем данни. HBase, както и HDFS, са един от важните компоненти на екосистемата Hadoop, които помагат за съхраняването и обработката на огромните набори от данни. Данните могат да бъдат структурирани, полуструктурирани или неструктурирани, но могат да се обработват добре с HDFS и HBase. HDFS обозначава разпределената файлова система Hadoop, която управлява съхранението на данни в мрежа от машини и обработката на огромните набори от данни се извършва с помощта на MapReduce. HDFS е подходящ за съхранение на големи файлове с данни, имащи шаблон за поточен достъп, т.е. запишете данните веднъж във файлове и прочетете толкова пъти, колкото е необходимо. В Hadoop HBase е базата данни на NoSQL, която работи над HDFS. HBase съхранява данните в колоно-ориентирана форма и е известна като база данни Hadoop. HBase осигурява последователно четене и запис в реално време и хоризонтална мащабируемост.
Сравнение между главата на HBase срещу HDFS (Инфографика)
По-долу е топ 4 Сравнение между HBase срещу HDFS:
Ключови разлики между HBase срещу HDFS
Нека обсъдим топ сравнение между HBase срещу HDFS:
- HDFS е проектиран специално и е най-подходящ за извършване на пакетна обработка. Но когато става дума за анализ в реално време, HDFS не е подходящ за такива случаи. Като има предвид, че HBase не е подходящ за извършване на пакетна обработка, но обработва големите набори от данни за извършване на данни за четене / запис в реално време.
- HDFS е подходящ за писане на файлове веднъж и четене много пъти. Като има предвид, че HBase е подходящ за писане и четене на данни на случаен принцип, който се съхранява в HDFS.
- HDFS осигурява операции с висока латентност за големи набори от данни, докато HBase има ниска латентност за малки набори от данни в големите набори от данни.
- HDFS съхранява големи набори от данни в разпределена среда, като разделя файловете на блокове и използва MapReduce за обработка на огромните набори от данни. Докато HBase съхранява данните в колоната, ориентирана към колоната, където колоните се съхраняват заедно, така че четенето да стане по-бързо в реално време.
- Заданията MapReduce се изпълняват, за да получат достъп до HDFS като цяло. Достъп до HBase може да се осъществи чрез команди Thrift, Avro, REST API или черупки.
Таблица за сравнение на HBase срещу HDFS
Таблицата по-долу обобщава сравненията между HBase и HDFS:
| HBase | HDFS |
| Това е NoSQL (не само SQL), ориентирана към колона, разпределена база данни, която е изградена върху HDFS. Използва се, когато в реално време се записва и чете за произволен достъп на големи набори от данни. | Той поддържа пакетна обработка, където данните се съхраняват като независими единици, наречени блокове. Файловете са разделени на различни блокове и данните се съхраняват в тях. Минималният размер на блока в HDFS е 128 MB по подразбиране (в Hadoop 2.x). |
| HBase хоства слабо населени, но големи маси. Таблица в HBase се състои от редове, редът е групиран в семейства от колони. Семейство колони се състои от колони. Като част от дефинирането на схемата трябва да се посочи семейството на колоните на таблицата, но може да се добави нова фамилия колони, когато се изисква. | HDFS клъстерът има два типа възли за съхранение на данни с помощта на NameNodes и DataNodes. NameNodes са главните възли, които съхраняват метаданните, докато DataNodes са подчинените възли, които съхраняват блоковете от данни (файлове, разделени на блокове). |
| Таблиците в HBase са хоризонтално разделени на региони и всеки регион се състои от подмножеството на редовете на таблица. Първоначално една таблица се състои от един регион. Но като регионът расте, в крайна сметка той надминава конфигурируемия размер на прага и след това се разделя на повече региони с приблизително същия размер. С помощта на Zookeeper, който предоставя конфигурационна информация, разпределена синхронизация, клиентът общува със сървърите на региона. | NameNode е единствената точка на повреда, тъй като без метаданните файловата система няма да работи. Така че машината, работеща с NameNode, трябва да има висока наличност. Обработката на данни се извършва чрез MapReduce. В Hadoop 1.x преди имаше Track Job и Task Tracker за обработка на данните. Но в Hadoop 2.x, това се извършва чрез YARN, където Resource Manager и Scheduler правят същото. |
| HBase има подобен модел на данни като Big Table на Google, който осигурява много бърз случаен достъп до огромните набори от данни. Той има ниска латентност за достъп до единични редове в милиард записи и използва вътрешните таблици на Hash, а за големите таблици използва бързи търсения. | HDFS работи най-добре за много големи файлове, които могат да бъдат с размер на стотици терабайти или петабайти, но работата с много малки файлове не се препоръчва в HDFS, както при повече файлове, за NameNode е необходима повече памет за съхранение на метаданните. Приложението, изискващо ниска латентност за достъп до данните, няма да работи добре с HDFS. Също така в HDFS, записването се извършва по един само приложен начин и произволни модификации на файла не са възможни. |
заключение
В HDFS файловете се разделят на блокове и блоковете са ефективни за използване на оставащото пространство след като файлът се съхранява в него. Също така при HDFS получаваме бонуса от системи за устойчивост на неизправности, при които той осигурява репликация, за да поддържа архивиране на файлове, в случай че се случи някакво прекъсване на мрежата. Също с използването на стоков хардуер, ние получаваме по-евтини разходи за здрава система. HBase като база данни предоставя много предимства, които традиционните RDBMS не могат. При HBase няма фиксирана схема, тъй като трябва да дефинираме само семейства от колони. Също така, HBase е добър за полуструктурирани данни. В средата на Hadoop, където данните се обработват последователно и на партиди, HBase дава предимството на четене и запис в реално време, така че човек не трябва да търси целия набор данни дори за един запис. Както HDFS, така и HBase решават много от проблемите, свързани със съхранението и обработката на огромен обем данни. Трябва обаче да се анализира изискването за надеждна, но ефективна система.
Препоръчителни статии
Това е ръководство за най-високата разлика между HBase срещу HDFS. Тук също обсъждаме ключовите разлики на HBase срещу HDFS с инфографика и таблица за сравнение. Може да разгледате и следните статии, за да научите повече -
- Data Lake vs Data Warehouse - най-добри разлики
- Абстракция срещу капсулация | Топ 6 сравнение
- Въведение във въпросите за интервю с HBase
- HBase Архитектура с предимства
- Капсулиране в JavaScript
