Въведение в списъка с командите Hadoop FS
Hadoop работи върху собствената си файлова система, която се разпространява в природата, известна като „Hadoop разпределена файлова система HDFS “ . Hadoop разчита на разпределено съхранение и паралелна обработка. Този начин на съхранение на файла в разпределени места в клъстер е известен като Hadoop разпределена файлова система, т.е. HDFS. За да изпълнява различни операции на ниво файл, HDFS предоставя собствен набор от команди, известни като Hadoop File System Commands. Нека проучим тези команди. В тази тема ще научим за Hadoop FS Command.
Команди на Hadoop FS
Всяка команда HDFS има префикса „hdfs dfs“. Това означава, че уточняваме, че файловата система по подразбиране е HDFS. Нека изследваме командите една по една
1. Версии
Командата версия се използва за намиране на версията на Hadoop, инсталирана в системата.
Синтаксис: Hadoop version
2. ls командване
Командата ls в Hadoop се използва за определяне на списъка с директории в споменатия път. ls командата приема hdfs пътя като параметър и връща списък с директории, присъстващи в пътя.
Синтаксис: hdfs dfs -ls
Пример: hdfs dfs -ls / user / harsha
Можем да използваме -lsr и за рекурсивен режим
Синтаксис: hdfs dfs –lsr
3. Котешка команда
Командата Cat се използва за показване на съдържанието на файла към конзолата. Тази команда приема пътя на hdfs файла като аргумент и показва съдържанието на файла.
Синтаксис: hdfs dfs -cat
Пример: hdfs dfs -cat /user/harsha/empnew.txt
4. команда mkdir
Командата mkdir се използва за създаване на нова директория във файловата система hdfs. Той приема пътя на hdfs като аргумент и създава нова директория в указания път.
Синтаксис: hdfs dfs -mkdir
Пример: hdfs dfs -mkdir / user / пример
В горната снимка на екрана ясно се вижда, че създаваме нова директория, наречена „пример“, използвайки команда mkdir и същата е показана с помощта на команда ls.
Също за команда mkdir можем да дадем опцията '-p'. Той създава родителски директории в пътя, ако те липсват.
Пример: hdfs dfs -mkdir -p / user / test / example2
В горната снимка на екрана е напълно очевидно, че имаме опция -p, а в пътя / потребител / тест / example2 се създават както тестове, така и директории example2.
5. поставете команда
поставете командата в HDFS се използва за копиране на файлове от зададено местоположение на източника до пътя към hdfs към местоназначението. Тук местоположението на източника може да бъде път към локална файлова система. командата put взема два аргумента, първият е пътя към директорията на източника, а вторият е насочен към HDFS път
Синтаксис: hdfs dfs -put
Пример: hdfs dfs -put /home/harsha/empnew.txt / user / test / example2
В горната снимка на екрана можем ясно да видим, че файлът е копиран от източник до местоназначение.
6. команда copyFromLocal
Командата copyFromLocal в HDFS се използва за копиране на файлове от изходния път до пътя на местоназначението. Източникът в тази команда е ограничен до локалната файлова система
Синтаксис: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example
Разлика между команда put и copyFromLocal Command: Няма голяма разлика между тези две команди hdfs shell. И двете се използват за копиране от локалната файлова система за насочване към пътя на HDFS файла.
Но командата put е по-полезна и здрава, тъй като позволява да се копират множество файлове или директории до местоназначение в HDFS
hdfs dfs -put
7. получи командване
команда get в hdfs се използва за копиране на даден hdfs файл или директория в целевия път към локалната файлова система. Необходими са два аргумента, единият е изходен hdfs път, а другият е целевият път към локалната файлова система
Синтаксис: hdfs dfs -get
Пример: hdfs dfs -get / user / test / example2 / home / harsha
8. команда copyToLocal
Командата copyToLocal в hdfs се използва за копиране на файл или директория в hdfs в локалната файлова система. В тази команда дестинацията е фиксирана към локалната файлова система. Тази команда copyFromLocal е подобна на команда get.
Синтаксис: hdfs dfs -copyToLocal
Пример: hdfs dfs -copyToLocal / потребител / harsha / пример / home / harsha
9. команда за броене
командата count в hdfs се използва за преброяване на броя директории, присъстващи в дадения път. командата count приема даден път като аргумент и дава броя на директории, присъстващи в този път.
Синтаксис: hdfs dfs -count
Пример: hdfs dfs -count / user
10. команда mv
mv команда в hdfs се използва за преместване на файл между hdfs. Командата mv взема файл или директория от зададен източник на пътя към hdfs и го премества към целевия hdfs път.
Синтаксис : hdfs dfs -mv
Пример : hdfs dfs -mv / user / test / example2 / user / harsha
В горната снимка на екрана можем да видим, че директорията example2 вече присъства в / user / harsha
11. команда setrep
командата setrep в hdfs се използва за промяна на репликационния коефициент на дадения файл. По подразбиране hdfs има репликационен коефициент '3'. Ако даденият път е директория, тази команда ще промени фактора на репликация на всички файлове, присъстващи в тази директория.
Синтаксис: hdfs dfs -setrep (-R) (-w)
-w: Този флаг указва, че командата трябва да изчака да бъде завършена репликацията.
rep: коефициент на репликация
Пример: hdfs dfs -setrep -w 5 /user/harsha/empnew.txt
12. команда du
командата du в hdfs показва използването на диска за дадения hdfs път. Той приема пътя на hdfs като вход и връща използването на диска в байтове.
Синтаксис : hdfs dfs -du
Пример: hdfs dfs -du /user/harsha/empnew.txt
13. команда rm
rm командата в hdfs се използва за премахване на файлове или директории в дадения път hdfs. Тази команда приема пътя на hdfs като вход и премахва файловете, присъстващи в този път.
Синтаксис : hdfs dfs -rm
Пример : hdfs dfs -rm / user / harsha / пример
Заключение - Hadoop FS Command
С настоящото се запознахме с различни hdfs команди, техните съответни синтаксиси и с примери. Трябва да отбележим стартиране на всякакви hdfs команди, трябва да стартираме bin / hdfs скрипт. hdfs е последван от опция, известна като dfs, която показва, че работим с разпределената файлова система Hadoop. С помощта на горепосочените команди можем да договорим с файловата система HDFS.
Препоръчителни статии
Това е ръководство за Hadoop FS Command. Тук обсъждаме най-често използваните HDFS команди. Можете също да разгледате следната статия, за да научите повече -
- Hadoop Архитектура
- Рамка за HADOOP
- Инсталирайте Hadoop
- Hadoop инструменти
- Версии на Tableau
- Ръководство за списъка на командите на Unix Shell