Как да инсталирате кошера?
Apache Hadoop е колекция от рамката, която позволява обработката на големи данни, разпространени в клъстера. Съгласно Apache Hive е софтуер за проект за съхранение на данни, изграден на върха на Apache Hadoop за предоставяне на заявки и анализ на данни. Apache кошер осигурява SQL като интерфейс за заявки и обработка на голямо количество данни, наречени HQL (език на запитване на Hive). Кошера Apache работи над екосистемата Hadoop, а данните, съхранявани под формата на файл, означават разпределена файлова система Hadoop (HDFS). Apache Hive предоставя страхотен интерфейс на потребителя за достъп и извършване на операция върху данните под формата на таблица, която осигурява страхотна техника за оптимизация за подобряване на производителността. Много е предизвикателно да направите заявката по-бърза с големи данни и повярвайте ми, тя има значение в производствена среда.
В задния период компилаторът конвертира HQL заявката в карта за намаляване на заданията и след това се изпраща на Hadoop рамка за изпълнение.
Разлика между Hive и SQL
Apache Hive е много подобен на SQL, но както знаем, кошерът работи над екосистемата Hadoop и вътрешно преобразува работни места в MR (Map Reduce jobs), това прави някаква разлика между Hive и SQL.
Hive не би бил най-добрият подход за онези приложения, където се изисква много бърза реакция и е много важно да се разбере, че Hive е по-подходящ за пакетна обработка на много големи набори неизменни данни и трябва да отбележим това, че Hive е редовен RDBMS и на последно място но не на последно място apache кошер е схема на средства за четене (докато вмъквате данни в таблицата на кошера, няма да се притеснявате за несъответствие на типа данни, но докато четете данни, ще покаже нулева стойност, ако типът данни не е съчетан с конкретния тип данни на колоната).
Предварително изискване за инсталиране на кошера
Както казах по-рано, много е важно да разберем, че кошерът Apache върви над Hadoop Ecosystem и Hadoop трябва да е готов и да работи с всички демони.
Някои от основните демони на Hadoop са следните:
- Възел на име
- Възел от данни
- Мениджър на ресурси
- Мениджър на възли
За да проверите версията на Hadoop по-долу е командата:
Въведете → Hadoop версия в командния ред, тя ще ви даде версията на Hadoop.
За да проверите задействането на отчета за клъстер Hadoop под командата:
Въведете → Hadoop dfsadmin - отчет в командния ред, той ще ви даде целия отчет за клъстера, ако вашият сървър работи.
Ако Hadoop не е инсталиран на вашата машина с молба, моля, следвайте инструкцията на апаш, за да инсталирате Hadoop на вашата система.
Надявам се, че java вече е инсталирана и във вашата система. за да проверите версията на Java, моля, вижте по-долу екрана.
Стъпки за инсталиране на кошер в Ubuntu
По-долу са стъпките за инсталиране на Hive в Ubuntu:
Стъпка 1 : Катранът на кошера, който можем да изтеглим, използвайки командата по-долу в терминала, която можем директно да изтеглим и от терминала.
Команда: получаваме http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Стъпка 2 : Екстрахирайте файла с катран с помощта на командата по-долу в терминала, можем директно да извлечем катран над изтегления катран файл с катран.
Команда: tar -xzf apache-кошер-2.1.0-bin.tar.gz
Ще ви предложа да проверите с команда ls за извлечен файл от кошера.
Стъпка 3: Редактирайте файла .bashrc, за да актуализирате променливите на средата за потребителя.
Команда: sudo the .bashrc
Добавете следното в края на файла:
# Задайте HIVE_HOME
Изпълнете командата по-долу, за да завършите промените в текущия терминал.
Команда: източник .bashrc 
Стъпка 5 : Трябва да създадем директории на Hive в рамките на местоположението на HDFS и тази директория „склад“ ще бъде мястото за съхраняване на информацията, свързана с метаданните, в таблицата на кошера и данни, свързани с Hive.
Команда :
- hdfs dfs -mkdir -p / потребител / кошер / склад
- hdfs dfs -mkdir / tmp
Стъпка 6 : За да зададете разрешение за четене и запис за изпълнение на таблицата на кошера по-долу команда.
Команда:
Команда по-долу, предоставяне на разрешение за писане на потребителската група:
- hdfs dfs -chmod g + w / потребител / кошер / склад
- hdfs dfs -chmod g + w / tmp
Конфигуриране на кошер: Много важно е да инсталирате кошер за конфигуриране с Hadoop. Трябва да редактираме hive-env.sh, файл, който се намира в директорията $ HIVE_HOME / conf. Следните команди пренасочват към папката Hive conf и копират файла на шаблона:
Стъпка 7 : Задайте пътека на Hadoop в hive-env.sh
Редактирайте файла hive-env.sh, като добавите следния ред:
Сега чрез този процес почти сме приключили и инсталациите на кошерите са завършени успешно, важно е да конфигурирате Metastore с външния сървър на база данни и по подразбиране Apache Hive Framework използва база данни Derby. Използвайки по-долу команда Инициализиране на базата данни на Derby.
Команда: bin / schematool -initSchema -dbType дерби
Стъпка 8 : Пуснете кошер .
Команда: кошер (въведете кошер в терминала във втория терминал на кошера ще се отвори.)
Работа с Hive: Сега ще видим някои от операциите в кошера, за да видим колко таблици имаме при използване на база данни по подразбиране, вижте по-долу снимки на екрана на скрийншотите по-долу, не показва никакви таблици, което означава, че нямаме таблици в базата данни по подразбиране,
За да създадете таблица в кошера е много важно да се обърнете към необходимата база данни, в противен случай всяка таблица ще бъде създадена под базата данни по подразбиране.
Важни команди в кошер
1: показване на бази данни (ще покаже всички бази данни, които са създадени досега).
2: създайте базата данни, ако не съществува mydb (тази команда ще създаде една база данни с името на „ mydb“, ако „ mydb“ не съществува и ако „ mydb вече съществува, няма да допусне грешка“)
3: използвайте база данни всеки път, когато трябва да използваме някаква DDl команда в конкретната база данни, трябва да използваме командата „използвайте база данни“, в нашия случай вече сме създали „mydb“ show команда, ще се използва mydb.
Важна DDL команда на кошера
СЪЗДАВАНЕ, НАПАДАНЕ, ТРУНЦАТ, ШОУ, ОПИСАНИЕ .
- Създаване : - Създайте изявление, използвано за създаване на база данни или създаване на таблица в кошер.
Пример: кошер> създаване на база данни Компания; (създаване на база данни)
Кошера> използвайте компания;
Hive> създаване на служител на таблицата (id int, име String, string String); (това ще създаде служител на таблица в базата данни Company, защото вече сме изпълнили командата Use database.)
- Описът предоставя информация за схемата на таблицата.
Кошера> опишете служителя; (това ще даде подробно схемата на таблицата на служителите)
- TRUNCATE ще изтрие данните от таблицата.
Кошера> служител на отсечена маса;
Можем да инсталираме кошера и на прозорец, но за най-добра практика, аз предпочитам да го използва Ubuntu, той ще даде по-добър поглед върху производствената среда и вашите данни ще се увеличат в бъдеще, че ще бъде лесно да се управлява.
Препоръчителни статии
Това е ръководство за инсталиране на кошер. Тук сме обсъдили различните стъпки за инсталиране на Hive, DDL команда и т.н. Можете също така да разгледате следните статии, за да научите повече:
- Как да инсталирате SQL Server
- Как да инсталирате MATLAB
- Команди и функция на кошера
- Основни въпроси за интервю с кошера
- Архитектура на кошери | Работния процес
- Използване на ПОРЪЧКА ПО функция в кошер
- Инсталация на кошера