Въведение в интеграцията на данни на Talend
Интегрирането на Talend Data означава комбиниране на данни от различни източници и комбинирането им в един изглед, за да получите някои смислени данни от тези, които могат да помогнат на компанията или организацията да подобрят бизнеса си чрез анализ на тези данни. Интеграцията помага за получаване на данни, почистване на данните, извършване на някаква необходима трансформация и т.н., а след това зареждане в хранилище с данни.
Какво представлява интеграцията на данни на Talend?
- Talend е ETL инструмент, който се използва за интеграция на данни. Talend предлага решение за подготовка на данни, качество на данните, интегриране на данни и големи данни.
- Talend предлага Open Studio, който е отворен код за интеграция на данни и големи данни.
- Talend open studio помага при работа с огромни данни с големи компоненти на данни. Тя има повече от 800+ компонента за различни цели за интеграция. Тук ще обсъдим някои от компонентите. За по-лесно вижте примера по-долу
- Сим операторът разполага с огромни данни за планове, клиенти, сим подробности и т.н. Тези данни са огромни, така че големите данни се използват и при интеграцията.
Клиент Купуване на сим, използвайки държавен идентификатор.
Давайки името си: AB C
Адрес като: Chennai, Chennai
Телефонен номер: 1234567890
След интегриране на данни
Име: AB
Фамилно име: C
Адрес: Ченай, Индия
Телефонен номер: +911234567890
Тук данните се изчистват и се трансформират в нещо по-смислено.
Предимства на интеграцията на данни
Тук ще обсъдим ползите от интеграцията на данни.
- Анализиране на бизнес тенденциите чрез интегриране на данни
- Комбиниране на данни в една система
- Пестене на време и по-ефективна и по-малко преработка
- Лесно генериране на отчети - използва се от BI инструменти
- Поддържане и поставяне на данни в хранилище на данни и данни
Приложение на интеграцията на данни на Talend
Тук ще обсъдим приложението на интеграцията на данни на Talend.
1. Работа с Talend
- Уверете се, че имате инсталиран Java и променливи на средата.
- Изтеглете отворения код от уебсайта на Talend и инсталирайте софтуера.
- Създайте нов проект и завършете настройката
- Talend ще се отвори с раздела дизайнер.
- Talend е инструмент на базата на затъмнение и компонентите могат да се плъзгат от палитрата или можете да щракнете и въведете името на компонентите.
2. Първо четене на файл
- Търсене на компонента tFileinputdelimited. Този компонент се използва за четене на всякакви разграничени файлове.
- Поставете компонента tFileinputdelimited. Потърсете tLogRow и го поставете в дизайнера за работа.
- Щракнете с десния бутон върху tFileinputdelimited и изберете ред-> main и начертайте линия към tLogRow.
- В компонента разделът избира пътя на файла, който искате да прочетете, и дава разделителя на редове като \ n. Ако файлът има разделител, можете да споменете разделителя.
- Щракнете върху схемата и дайте подробности за типа колона или можете да прочетете целия ред като низ с една колона и стойността на разделителя трябва да бъде празна.
- Можете също да пропуснете заглавката и долния колонтитул.
- В компонента tLogRow изберете начина, по който искате да видите данните. Формат на таблицата или едноредов формат.
- tLogRow показва изхода в конзолата за изпълнение.
- След свързването на tFileinputdelimited и tLogRow стартирайте заданието от раздела за изпълнение.
- Можете да видите съдържанието на файла в конзолата отпечатано.
3. Втора работа с Tmap
- Прочетете файл и го филтрирайте в различни изходни файлове.
- Прочетете файл в компонента tFileinputdelimited със схема на една колона като запис.
- Tmap компонент - Този компонент помага за преобразуване на данни с някои вградени функции като търсене, присъединяване и т.н.
- В tmap създайте два изхода out1 и out2.
- Във филтъра out1 добавете record.contains („talentnd“) и изтеглете записа в out1.
- Начертайте линията на запис към друг out2.
- От tmap вземете основни редове и се свържете към два tFileoutputdelimited.
- out1 връзка към един tfileoutputdelimited1 като file1.txt и out2 към друг tfileoutputdelimited2 като file2.txt.
- txt ще има записи, които съдържат talent.
- txt ще има записи, които имат други имена.
4. Вграден и хранилище
- Вграденият означава, че всеки път трябва да задавате схема или подробности за свързване към база данни.
- Хранилището е полезно за запазване на детайлите в метаданните, така че да можете да използвате повторно едни и същи детайли всеки път, без да въвеждате ръчно всеки път подробности. В метаданните можете да запишете файлова схема, връзки към база данни, Hadoop връзка, кошерна връзка, s3 връзка и много други.
Компоненти на интеграцията на данни на Talend
Тук ще обсъдим компонентите на Talend Integration Data Integration.
1. tFileList: Този компонент изброява файловете в директория или папка с даден шаблон на маска на файла.
2. tMysqlConnection: Този компонент се използва за свързване с базата данни MySQL. Компонентите на Mysql могат да използват тази връзка за лесна настройка на свързването към базата данни.
3. tMysqlInput: Този компонент помага да стартирате заявка на база данни mysql и да получите таблицата или колоните. Този компонент се използва за избор на заявки и получаване на подробности.
4. tMysqlOutput: Този компонент се използва за поставяне или актуализиране на данни в базата данни Mysql.
5. tPrejob: Този компонент е първият, изпълнен в работата и може да бъде свързан с други компоненти с на Subjob ok.
6. tPostjob: Този компонент е последният, изпълнен в работата. Можете да свържете това с компоненти за затваряне на връзката.
7. tLogcatcher: Този компонент улавя предупреждението и грешките в работата. Това е най-важният компонент, използван в техниката за обработка на грешки. Дневниците за грешки могат да бъдат написани с помощта на този компонент заедно с tfileoutputdelimited. Има повече от 800+ компонента.
8. Контекстна променлива: Контекстните променливи са променливи, които могат да се използват в заданието навсякъде. Той държи стойности и може да бъде прехвърлен към друга работа, също използвайки tRun компоненти. Използването на контекстните променливи е, че можем да променяме стойността за различни цели. Например, можем да имаме набор от стойности за контекстната група за развитие и различен набор от контекстни стойности за производство. По този начин не е необходимо да променяме задачата, само промяната на контекстните параметри е достатъчна.
9. Изграждане на работа: За да създадете работа, щракнете с десния бутон на мишката върху заданието и изберете строителна работа. Можете да импортирате работата за изграждане в TAC. В конзолата за администриране на Talend планирате работа, за да задействате и зависимостта от заданието. Можете също да импортирате заданието от хранилището на Nexus, като използвате задание за артефакт.
10. Създайте задача в TAC: Отворете диригента за задачи в TAC. Кликнете върху нови задачи и изберете нормални или артефактни задачи. Импортирайте работата за изграждане или изберете от nexus. Изберете сървъра за работа, в който ще се изпълнява талантът. Запазете задачата. Сега можете да разгърнете и стартирате работата.
заключение
- „Опростете ETL и ELT с водещия безплатен инструмент с отворен код ETL за големи данни.“ Е линията за отворено студио.
- Talend Bigdata има много компоненти за работа с огромни данни.
- Стандартната работа, заданието Bigdata, поточните задачи на Bigdata са различните видове задания, налични в Talend.
- Работите на Bigdata могат да бъдат създадени в искра или рамка на MapReduce.
Препоръчителен член
Това е ръководство за интеграция на данни на Talend. Тук обсъждаме въвеждането на Talend Data Integration и ползите, заедно с приложенията и компонентите. Можете също да прегледате и другите ни предложени статии, за да научите повече
- Инструмент за интегриране на данни | Най-добри 12 инструменти
- Talend въпроси за интервю и отговори
- Най-добрите инструменти за визуализация на данни с техните типове
- Talend срещу Mulesoft - разлики
- Какво е Data Mart?