Разлика между Apache Hive и Apache Spark SQL
С огромното нарастване на технологиите за големи данни днес става много важно да се използва правилния инструмент за всеки процес. Процесът може да бъде всичко като поглъщане на данни, обработка на данни, извличане на данни, съхранение на данни и др. В тази публикация ще прочетем за два такива инструмента за извличане на данни, Apache Hive и Apache Spark SQL. Hive, от една страна, е известен с ефективната си обработка на заявки, като използва SQL-подобен HQL (език на заявките на кошер) и се използва за данни, съхранявани в разпределената файлова система Hadoop, докато Spark SQL използва структуриран език на заявките и се уверява, че всички се чете и записва онлайн операциите. Известно е, че Hive е компонент на екосистемата с големи данни, където са необходими наследствени картографи и редуктори за обработка на данни от HDFS, докато Spark SQL е известен като компонент на Apache Spark API, който направи обработката в голяма екосистема на данни много по-лесна и реална -време. Основно погрешно схващане, което повечето професионалисти имат днес, е, че кошерът може да се използва само с наследени технологии за големи данни и инструменти като PIG, HDFS, Sqoop, Oozie. Това твърдение не е напълно вярно, тъй като Hive е съвместим не само със старите инструменти, но и заедно с други компоненти, базирани на Spark, като Spark Streaming. Идеята за използването им е да се намалят усилията и да се постигне по-добро производство за бизнеса. Нека да проучим подробно и за Apache Hive, и за Apache Spark SQL.
Сравнение между главата на Apache Hive срещу Apache Spark SQL (Инфографика)
По-долу е топ 13 сравнението между Apache Hive с Apache Spark SQL
Основни разлики между Apache Hive срещу Apache Spark SQL
Разликите между Apache Hive и Apache Spark SQL се обсъждат в точките, споменати по-долу:
- Известно е, че Hive използва HQL (Hive Query Language), докато Spark SQL е използван структуриран език за заявки за обработка и запитване на данни
- Hive осигурява гъвкавост на схемата, разделяне и копане на таблиците, докато докато Spark SQL извършва SQL заявка, е възможно да се четат данни само от съществуваща инсталация на Hive.
- Hive предоставя права за достъп за потребители, роли, както и групи, докато Spark SQL не предоставя възможност за предоставяне на права за достъп на потребителя.
- Hive предоставя възможност за селективен фактор на репликация за излишно съхранение на данни, докато spark SQL, от друга страна, не предоставя никакъв фактор за репликация за съхранение на данни
- Тъй като JDBC, ODBC и драйвери са достъпни в Hive, можем да ги използваме за генериране на резултати, докато в случай на Apache Spark SQL можем да извлечем резултати под формата на набори от данни и API на DataFrame, ако Spark SQL се изпълнява с друг език за програмиране
- Има няколко ограничения:
- Актуализации на ниво редове и запитване в OLTP в реално време не са възможни с помощта на Apache Hive, докато актуализации на ниво ред и обработка на онлайн транзакции в реално време са възможни с помощта на Spark SQL.
- Осигурява приемливо висока латентност за интерактивно сърфиране на данни, докато при Spark SQL предоставената латентност е минимална, за да подобри производителността.
- Hive, подобно на SQL изявления и заявки, поддържа UNION тип, докато Spark SQL не е в състояние да поддържа UNION тип.
Apache Hive vs Apache Spark SQL Таблица за сравнение
| Основа за сравнение | Apache кошер | Apache Spark SQL |
| структура | Система за съхранение на данни с отворен код, която е изградена на върха на Hadoop | Използва се главно за структурирана обработка на данни, където се извлича повече информация чрез използване на структуриран език на заявката. |
| обработване | Големите набори от данни, които се съхраняват във файлове на hadoop, се анализират и питат. Обработката се извършва главно с помощта на SQL. | Обработката на Apache Spark SQL включва тежки изчисления, извършени поради които е необходима правилна техника за оптимизация. Взаимодействието с Spark SQL е възможно по различни начини като Dataset и DataFrame API. |
| Първоначално пускане | Hive е пуснат за първи път през 2012 година | Spark SQL беше пуснат за първи път през 2014 г. |
| Последно издание | Последната версия на Hive излиза на 18 ноември 2017 г .: версия 2.3.2 | Последната версия на Apache Spark SQL излиза на 28 февруари 2018 г .: 2.3.0 |
| Лицензиране | Това е Apache версия 2 с отворен източник | Отворено снабдяване чрез Apache версия 2 |
| Език за изпълнение | Java език преди всичко може да се използва за внедряване на апаш Hive | Spark SQL може да бъде реализиран в Scala, Java, R, както и Python |
| Модел на база данни | Основният му модел на база данни е RDBMS | Въпреки че Spark SQL е в състояние да се интегрира с всяка база данни на NoSQL, но преди всичко неговият модел на базата данни е RDBMS |
| Допълнителни модели на база данни | Допълнителният модел на база данни е хранилище с ключови стойности, което може да приема данни под формата на JSON | Ключ-стойност магазин е допълнителен модел база данни |
| развитие | Първоначално Hive е разработен от Facebook, но по-късно е дарен на фондация Apache Software | Първоначално е разработена от самата фондация Apache Software |
| Сървърна операционна система | Той поддържа всички операционни системи с среда за виртуална машина на Java | Той поддържа няколко операционни системи като Windows, X, Linux и т.н. |
| Методи за достъп | Той поддържа ODBC, JDBC и Thrift | Той поддържа само ODBC и JDBC |
| Поддръжка на езика за програмиране | Поддържат се няколко езика за програмиране като C ++, PHP, Java, Python и др | Поддържат се няколко езика за програмиране като Java, R, Python и Scala |
| Методи за разделяне | Методът за изостряне на данни се използва за съхранение на данни на различни възли | Той използва Apache Spark Core за съхранение на данни на различни възли |
Заключение - Apache Hive срещу Apache Spark SQL
Не можем да кажем, че Apache Spark SQL е заместител на Hive или обратно. Просто Spark SQL може да се разглежда като приятелски разработен API базиран на Spark, чиято цел е да улесни програмирането. Hive има своята специална способност за често превключване между двигатели и затова е ефективен инструмент за търсене на големи масиви данни. Използването и прилагането върху това какво да изберете зависи от вашите цели и изисквания. И Apache Hive, и Apache Spark SQL са играчи в своето собствено поле. Надявам се, че след като преминете през поста, ще получите достатъчно честна представа за нуждите на вашата организация. Следвайте нашия блог за още публикации като тези и ние се уверяваме да предоставим информация, която насърчава вашия бизнес.
Препоръчителен член
Това е ръководство за Apache Hive срещу Apache Spark SQL, тяхното значение, сравнение между главата, ключови разлики, таблица за сравнение и заключение. Можете също да разгледате следните статии, за да научите повече -
- Разлики в Java срещу Node JS
- Apache Pig vs Apache Hive - Топ 12 полезни разлики
- Hadoop срещу кошера - открийте най-добрите разлики
- 7 важни полезни неща за Apache Spark (Ръководство)
- Apache Hadoop срещу Apache Spark | Топ 10 сравнения, които трябва да знаете!
- Използване на ПОРЪЧКА ПО функция в кошер