Въведение в Sqoop командите
В командите Sqoop всеки ред се третира като записи и задачите се подразделят на подзадачи от Map Task Internal. Базите данни, които се поддържат от sqoop, са MYSQL, Oracle, IBM, PostgreSQL. Sqoop предоставя прост команден ред, можем да извлечем данни от различните бази данни чрез sqoop команди. Те са написани на Java и използват JDBC за връзка с други бази данни.
Тя означава 'SQL to Hadoop' и Hadoop to SQL и инструмент с отворен код. Това е инструмент за свързване на приложения, който прехвърля обемни данни между системата за релационна база данни и Hadoop (Hive, map Redu, Mahout, Pig, HBase). Те позволяват на потребителите да определят целевото местоположение вътре в Hadoop и да правят sqoop за преместване на данни от RDMS към целеви. Те предоставят оптимизирани MySQL конектори, които използват специфичен за базата данни API, за да извършват групови преводи напълно. Потребителят импортира данни от външни източници като Hive или Hbase. Квадратът има два файлови формата: ограничен формат на текстови файлове и формат на последователни файлове.
Ето основните команди на Sqoop командите:
-
Таблица със списък:
Тази команда изброява конкретната таблица на базата данни в MYSQL сървър.
Пример:
-
Целева директория:
Тази таблица за импортиране на команди в конкретна директория в HDFS. -m обозначава аргумент на картограф. Те имат цяло число.
Пример:
-
Защита с парола:
Пример:
-
sqoop-Оценка:
Тази команда изпълнява бързо SQL заявки на съответната база данни.
Пример:
-
sqoop - версия:
Тази команда показва версия на sqoop.
Пример:
-
sqoop-работа
Тази команда ни позволява да създадем задача, параметрите, които се създават, могат да бъдат извиквани по всяко време. Те приемат опции като (–създаване, –изтриване, – показване, –изход).
Пример:
-
Зареждане на CSV файл в SQL:
Пример:
-
конектор:
Пример:
-
код код:
Тази команда Sqoop създава файлове от клас java, които капсулират импортираните записи. Всички файлове java се пресъздават и се генерират нови версии на клас. Те генерират код за взаимодействие със записи в базата данни. Извлича списък на всички колони и техните типове данни.
Пример:
10.List-база данни:
Този списък с команди на Sqoop има цялата налична база данни в RDBMS сървъра.
например:
Междинни команди на Sqoop командите:
1.sqoop -meta магазин:
Тази команда хоства споделено хранилище на метаданни. Множество / отдалечени потребители могат да изпълняват няколко задания.
Команда:
$ sqoop .metastore.client.autoconnect.url
пример: jdbc: hsqldb: hsql: // metastore .example.com / sqoop
2. sqoop -help:
Тази команда изброява инструментите, налични в sqoop, и тяхното предназначение.
Команда:
$ sqoop помощ
$ bin / sqoop помагат за импортирането
3. Експорт:
Тази команда експортира данни от HDFS в базата данни на RDMS. В HDFS данните се съхраняват като записи.
Команда:
$ sqoop износ \ –свържете jdbc: mysql: // localhost / инвентар - потребителско име jony –table lib –export -dir / потребител / jony / инвентар.
4. Вмъкнете:
Тази команда вмъква нов запис от HDFS в таблицата на RDBMS.
команда
$ sqoop износ - свържете JDBC: MySQL: // localhost / sqoop_export - таблица emp_exported –export -dir / sqoop / newemp -m -000
5. Актуализация:
Тази команда Sqoop актуализира записите в RDBMS от HDFS данни.
команда
$ sqoop износ - свържете JDBC: MySQL: // localhost / sqoop_export - таблица emp_exported –export -dir / sqoop / newemp -m -000 –update -key id
6. Партиден вариант:
Тази команда вмъква няколко реда заедно, те оптимизират скоростта на вмъкване, като използват драйвер на Sqoop JDBC.
команда
$ sqoop износ \ -свържете JDBC: MySQL: // име на хост / –поименование -password -експорт -дир
7. Сплит:
Когато се използва тази команда, клаузата където се прилага към целия SQL.
команда
$ sqoop import -D mysql: // jdbc: // where.clause.location = SPLIT –table JUNK - където „rownum <= 12“
8. AVRO файл в HDFS:
Те съхраняват RDBMS Data като файл Avro.
команда
$ sqoop import - свържете JDBC: MySQL: // localhost / Acadgild –username root –password pp.34 –плащане -m1 –target -dir / sqoop_data / Payment / avro / == as -avrodatfile.
Разширени команди на Sqoop командите:
Команди за импортиране:
Командите за импортиране имат контролни аргументи за импортиране. различните аргументи са следните:
- граница: използва се за създаване на разцепления.
- as - текстов файл: импортира обикновени текстови данни
- -колони (: колони за импортиране за таблица
- -m, - num: за импортиране на паралелни задачи за картографиране
- разделен на: Разделя колона на таблицата
- -z, - компресиране: компресирането на данните е активирано.
Допълнителен аргумент за внос:
- check - колона: Показва колони, за да определи кои редове да бъдат импортирани.
- инкрементален (режим): показва нови редове (включва добавяне и последно изменение на редовете)
Аргументи на изходната линия:
- линии -завършени-чрез: Те задават eol характер
- MySQL - разделители: те задават \ n полета: линии:
Внос в кошер
-има - внос: Те внасят таблици в кошер
-hive - ключ за дял: Името на дяла е споделено.
-hive - презаписване: Те презаписват данните в съществуващата таблица.
Импортиране в Hbase аргументи:
-акумулирана таблица: Това указва таргет таблицата в HBase.
-accumulo-колона: За да го импортира, задава целевата колона.
-accumulo -: За да импортирате име на акумулатора
–Акумуло -: За да импортирате паролата на акумулатора
Съхраняване във последователни файлове:
$ sqoop import -connect jdbc: mysql: //db.foo.com/emp -table inventar \ - име на клас com.foo.com.Inventory -as - последователност
Импортиране на заявки:
Тази команда посочва оператора Sql с аргумента -query.
$ sqoop import \ –query 'SELECT a. *, b. * от JOIN b on (a.id = b.id), където $ условия' \ -split - от / target-dir / user
Нарастващ износ:
$ sqoop експортиране –свързване –таблетка –потребител –проверка –инкрементален –проверка на ред –послева стойност
Импортиране на всички таблици към HDFS:
$ sqoop import -all - table –connect jdbc: mysql: // localhost / sale_db - root на потребителско име.
Импортиране на данни в Hive:
$ sqoop импортиране –свързване –таблетка –потребител –парола –има -импорт - кошер -таблица
Импортиране на данни в HBase:
команда:
$ sqoop импортиране –свързване –таблетка –потребител –проверка –има -импорт - HBase -таблетка
Кодирайте нулеви стойности:
команда:
$ mysql import \ - свържете JDBC: MySQL: //mysql.ex.com/sqoop \ –потребител sqoop \ -password sqoop \ –table lib \ –null -string “
Съвети за използване на Sqoop команди:
Ако искаме да изпълним операциите с данни ефективно, тогава трябва да използваме sqoop, само чрез един команден ред можем да изпълняваме много задачи и подзадачи в него. Sqoop се свързва към различни релационни бази данни чрез конектори, те използват JDBC драйвер за взаимодействие с него. Тъй като sqoop работи от собствения си източник, можем да изпълним sqoop без инсталационен процес. Изпълнението на sqoop е лесно, тъй като паралелно изпълнявайте данните. С помощта на Map намаление можем да импортираме и експортираме данни, което от своя страна осигурява паралелно изпълнение.
Заключение - Sqoop Команди:
В заключение, Sqoop Commands регулира процеса на импортиране и експортиране на данните. Sqoop предоставя възможност за актуализиране на частите от таблицата чрез постепенно натоварване. Импортирането на данни в sqoop не се управлява от събития. И идва sqoop2 с активиран GUI за лесен достъп, заедно с командния ред. Прехвърлянето на данни е бързо, тъй като те прехвърлят паралелно. Те играят жизненоважна роля в Hadoop среда. Те вършат работата си самостоятелно, не е необходимо, докато импортират малки набори от данни.
Препоръчителни статии
Това е ръководство за Sqoop командите. Тук сме обсъдили основни, както и усъвършенствани Sqoop команди и някои непосредствени Sqoop команди. Можете също да разгледате следната статия, за да научите повече -
- Въпроси и отговор за интервю на Sqoop
- Чит лист SQL (Команди, безплатни съвети и трикове)
- Важни команди VBA
- Команди на Табау