Talend Tools - Различни инструменти или компоненти на Talend за интегриране на данни

Въведение в Talend Tools

Talend open studio има повече от 700 компонента в области като големи данни, бази данни, облак и т.н. Talend open studio може да бъде разделен на много като Talend open studio за интеграция на данни и Talend open studio за големи данни и т.н. В тази статия ние ще видите подробно различните инструменти на таланта.

Talend Отворени компоненти на студиото / инструменти

Talend Open Studio за интеграция на данни обхваща следните области / технологии с някои вградени компоненти, което помага при лесната обработка.

Големи компоненти на данни
Бизнес компоненти
Компоненти за бизнес разузнаване
Облачни компоненти
Компоненти на персонализиран код
Компоненти за качество на данните
Бази данни - традиционни компоненти
Бази данни - компоненти на уреда / склада за данни
Бази данни - други компоненти
DotNET компоненти
ELT компоненти
ESB компоненти
Файлови компоненти
Интернет компоненти
Дневници и грешки компоненти
Компоненти от различни групи
Компоненти за оркестрация
Обработка на компоненти
Системни компоненти
Talend MDM компоненти
Технически компоненти
XML компоненти

Тук ще обсъдим няколко компонента от Talend Open Studio за интеграция на данни.

1. tS3Connection: Този компонент се използва за свързване с amazon s3. Компонентите могат да използват тази връзка за лесна настройка на свързването към amazon s3.

2. tS3Вход: Използва се за четене на файл от файловата система S3. Той има някои функции, подобни на tfileinputdelimited, но използва услугата Amazon Simple Storage.

3. tS3Output: Използва се за записване на данни във файлова система S3. Той има някои функции, подобни на tfileoutputdelimited, но използва Amazon Simple Storage услуга.

4. ts3Put: Използва се за поставяне на файл във файлова система S3 от локална система.

5. ts3Get: Този компонент се използва за извличане на файл от S3 в локална система.

6. tS3BucketCreate: Този компонент се използва за създаване на кофа на S3.

7. tS3BucketDelete: Този компонент се използва за изтриване на кофа на S3.

8. tS3BucketExist: Този компонент се използва за проверка дали дадената кофа съществува на S3. Той връща резултата в истинска или невярна булева стойност, която може да се използва като глобална карта.

9. tS3BucketList: Този компонент се използва за изброяване на всички кофи на S3.

10. tS3Copy: Този компонент се използва за копиране на S3 обект от една кофа в друга кофа. Подобно е на tFileCopy.

11. tS3Delete: Този компонент се използва за изтриване на обекта S3 от кофа. Той е подобен на tFileDelete.

12. tS3Close: Този компонент се използва за затваряне на S3 връзката, която е създадена с помощта на tS3Connection.

13. tCreateTemporaryFile: Този компонент създава временен файл като tFileOutputDelimited, но този временен файл може да бъде изтрит автоматично след приключване на заданието или може да бъде запазен.

14. tFileArchive: Този компонент се използва за създаване на компресиран файл от един или повече файлове. Криптирането може да се приложи и при компресия.

15. tFileCompare: Този компонент се използва за сравняване на два файла и връща данните за сравнение.

16. tFileUnarchive: Този компонент се използва за декомпресиране на ципиран файл.

17. tFileCopy: Този компонент се използва за копиране на файл или папка в целевата директория.

18. tFileDelete: Този компонент се използва за изтриване на файл или папка.

19. tFileExist: Този компонент се използва за проверка дали файл съществува или не. Тя връща резултата в истинска или невярна булева стойност, която може да се използва като globalMap.

20. tFileInputExcel: Този компонент се използва за четене на Excel файл въз основа на определената схема.

21. tMsgBox: Този компонент се използва за показване на диалогов прозорец с бутон OK.

22. tRowGenerator: Този компонент се използва за създаване на произволен брой редове с колони със специфични стойности или случайни стойности. Използва се предимно за тестване и създаване на примерни тестови файлове.

23. tIterateToFlow: Използва се за преобразуване на списък от потоци в основния поток, което означава итерация-> ред-> главна.

24. tFlowToIterate: Използва се за преобразуване на основния поток в списък на потоци, което означава main-> row-> iterate.

25. tLoop: Използва се за цикъл на определена задача.

26. tРепликация: Използва се за репликиране на входящата схема в два изходни потока.

27. tRunJob: Използва се за стартиране на друга работа на таланта в рамките на текущата работа след subjob ok.

28. tSleep: Използва се за извършване на изпълнението на заданието или определена пауза под задание за дадено време в секунди.

29. tWaitForFile: Ще разгледа конкретна директория и ще задейства следващия компонент въз основа на условието.

30.tMysqlBulkExec: Този компонент се използва за предлагане на печалби в производителността по време на изпълнение на операциите Insert в база данни на Mysql.

31. tMysqlClose: Този компонент се използва за затваряне на връзката mysql, която се създава от tMysqlConnection.

32. tMysqlRow: Този компонент се използва за директно изпълнение на SQL заявката в MySQL базата данни.

33. tMysqlTableList: Този компонент се използва за изброяване на имената на таблици.

34. tMysqlColumnList: Този компонент се използва за повторение на всички колони на таблица.

35. tMysqlCommit: Този компонент се използва за извършване на промените, направени в базата данни Mysql.

36. tMysqlLastInsertId: Този компонент се използва за получаване на последната вмъкната ключова стойност

37. tMysqlOutputBulk: Този компонент се използва за записване на файл с колони въз основа на разделителя

38. tMysqlOutputBulkExec: Този компонент се използва за записване на файл с колони въз основа на разделителя и след това изпълнява файла в базата данни на Mysql.

39. tContextLoad: Този компонент се използва за зареждане на стойности в контекст от входен поток. Контекстните променливи трябва да бъдат създадени преди зареждането на стойностите в контекстови променливи. Ако контекстните променливи не са създадени, тя ще покаже предупреждение.

40. tHiveClose: Този компонент се използва за затваряне на връзката, създадена с помощта на tHiveConnection.

41. tHiveConnection: Този компонент се използва за създаване на връзка на кошер и може да се използва повторно от други компоненти на кошера.

42. tHiveRow: Този компонент се използва за директно изпълнение на заявките на Hive.

заключение

HDFS компонентите могат да се видят в Talend open studio за Big data.
thdfsinput, thdfsoutput са някои от компонентите и те са подобни на файловите компоненти.
tHDFSInput - Чете файл, разположен в дадена разпределена файлова система Hadoop (HDFS). Той има някои функции, подобни на tfileinputdelimited, но използва файлова система, разпределена от Hadoop.
tHDFSOutput - Записва файл в разпределената файлова система Hadoop (HDFS).
Той има някои функции, подобни на tfileoutputdelimited, но използва файлова система, разпределена от Hadoop.
tHDFSPut- Използва се за поставяне на файл във HDFS файлова система от локална система.
tHDFSGet - Този компонент се използва за извличане на файл от HDFS в локална система.

Препоръчителни статии

Това е ръководство за Talend Tools. Тук обсъждаме въвеждането и създаването на отворени студийни компоненти или инструменти за интегриране на данни, които включват, tS3Connection, tS3Input, tS3Output и ts3Put и др. Можете също да разгледате следните статии, за да научите повече -