Въведение в Talend Open Studio

Talend предлага Open Studio, което е отворен код за интеграция на данни. Тя има повече от 800+ компонента за различни цели за интеграция. Изтеглете Talend Open Studio от https://www.talend.com/download/

Интегрирането на данни означава комбиниране на данни от различни източници и тяхното комбиниране в един изглед, за да се получат някои значими данни от тези, които могат да помогнат на компанията или организацията да подобрят бизнеса си, като анализират тези данни. Интеграцията помага за получаване на данни, почистване на данните, извършване на някаква необходима трансформация и т.н., а след това зареждане в хранилище с данни.

Какво е Talend?

Talend е ETL инструмент, който се използва за интеграция на данни. Talend предлага решение за подготовка на данни, качество на данните, интегриране на данни и големи данни. Тук ще обсъдим някои от компонентите. За да видите по-долу примера по-долу. Сим операторът разполага с огромни данни за планове, клиенти, сим подробности и т.н. Тези данни са огромни, така че големите данни се използват и при интеграцията.

Клиент Купуване на сим, използвайки държавен идентификатор

Давайки името си като AB C

адрес като Chennai, Chennai

телефонен номер като 1234567890

След интегриране на данни

Име: AB

Фамилно име: C

Адрес: Ченай, Индия

Телефонен номер: +911234567890

Тук данните се изчистват и се трансформират в нещо по-смислено.

Ползи

  • Анализиране на бизнес тенденциите чрез интегриране на данни
  • Комбиниране на данни в една система
  • Пестене на време и по-ефективна и по-малко преработка
  • Лесно генериране на отчети - използва се от BI инструменти
  • Поддържане и поставяне на данни в хранилището на данни и данните

Приложение

Ето следните приложения, споменати по-долу

1. Работа с Talend

  • Уверете се, че имате инсталиран Java и променливи на средата.
  • Изтеглете отворения код от уебсайта на Talend и инсталирайте софтуера.
  • Създайте нов проект и завършете настройката
  • Talend ще се отвори с раздела дизайнер.
  • Talend е инструмент на базата на затъмнение и компонентите могат да се плъзгат от палитрата или можете да щракнете и въведете името на компонентите.

2. Първата работа Четене на файл

  • Търсене на компонента tFileinputdelimited. Този компонент се използва за четене на всякакви разграничени файлове.
  • Поставете компонента tfileinputdelimited. Потърсете tlogrow и го поставете в дизайнера на работа.
  • Щракнете с десния бутон върху tfileinputdelimited и изберете ред-> main и начертайте линия, за да tlogrow.
  • В компонента разделът избира пътя на файла, който искате да прочетете, и дава разделителя на редове като \ n. Ако файлът има разделител, можете да споменете разделителя.
  • Щракнете върху схемата и дайте подробности за типа колона или можете да прочетете целия ред като низ с една колона и стойността на разделителя трябва да бъде празна.
  • Можете също да пропуснете заглавката и долния колонтитул.
  • В компонента tlogrow изберете начина, по който искате да видите данните. Формат на таблицата или едноредов формат.
  • tlogrow показва изхода в конзолата за изпълнение.
  • След като свържете както tfileinputdelimited, така и tlogrow, изпълнете заданието от раздела за изпълнение.
  • Можете да видите съдържанието на файла в конзолата отпечатано.

3. Втора работа с Tmap

  • Прочетете файл и го филтрирайте в различни изходни файлове.
  • Прочетете файл в компонента tfileinputdelimited със схема на една колона като запис.
  • Tmap компонент - Този компонент помага за преобразуване на данни с някои вградени функции като търсене, присъединяване и т.н.
  • В tmap създайте два изхода out1 и out2.
  • Във филтъра out1 добавете row3.record.contains ("talentnd") и изтеглете записа в out1.
  • Начертайте линията на запис към друг out2.

  • От tmap вземете основните редове и се свържете към два tfileoutputdelimited.
  • out1 връзка към един tfileoutputdelimited1 като file1.txt и out2 към друг tfileoutputdelimited2 като file2.txt.
  • txt ще има записи, които съдържат talent.
  • txt ще има записи, които имат други имена.

4. Вграден и хранилище

  • Вграденият означава, че всеки път трябва да задавате схема или подробности за свързване към база данни.
  • Хранилището е полезно за запазване на детайлите в метаданните, така че да можете да използвате повторно едни и същи детайли всеки път, без да въвеждате ръчно всеки път подробности. В метаданните можете да запишете файлова схема, връзки към база данни, Hadoop връзка, кошерна връзка, s3 връзка и много други.

Компоненти на Talend Open Studio

Ето следните компоненти на Talend Open Studio, споменати по-долу

1. tFileList

  • Този компонент изброява файловете в директория или папка с даден шаблон на маска на файла.

2. tMysqlConnection

  • Този компонент се използва за свързване с mysql базата данни.
  • Компонентите на Mysql могат да използват тази връзка за лесна настройка на свързването към базата данни.

3. tMysqlinput

  • Този компонент помага да стартирате заявка за база данни mysql и да получите таблицата или колоните. Този компонент се използва за избор на заявки и получаване на подробности.

4. tMysqlOutput

  • Този компонент се използва за поставяне или актуализиране на данни в базата данни на Mysql.

5. tprejob

  • Този компонент е първият, който се изпълнява в заданието и може да бъде свързан с други компоненти с на subjob ok.

6. tpostjob

  • Този компонент е последният, изпълнен в работата. Можете да свържете това с компоненти за затваряне на връзката.

7. tlogcatcher

  • Този компонент улавя предупреждението и грешките в работата.
  • Най-важният компонент, използван в техниката на работа с грешки.
  • Дневниците за грешки могат да бъдат написани с помощта на този компонент заедно с tfileoutputdelimited.
  • Има повече от 800+ компонента.

Контекстна променлива

  • Контекстните променливи са променливи, които могат да се използват в работата навсякъде.
  • Той държи стойности и може да бъде прехвърлен към друга работа, също използвайки trun компонент.
  • Използването на контекстните променливи е, че можем да променим стойността за различни цели.
  • Например, можем да имаме набор от стойности за контекстната група за развитие и различен набор от контекстни стойности за производство.
  • По този начин не трябва да променяме задачата, само промяната на контекстните параметри е достатъчна.

Изграждане на работа

  • За да изградите работа, кликнете с десния бутон върху мишката и изберете сбор.
  • Можете да импортирате работата за изграждане в TAC.
  • В конзолата за администриране на Talend планирате работа, за да задействате и зависимостта от заданието.
  • Можете също да импортирате заданието от хранилището на Nexus, като използвате задание за артефакт.

Създайте задача в TAC

  • Отворен диригент за работа в TAC
  • Кликнете върху нови задачи и изберете нормални или артефактни задачи.
  • Импортирайте изградената задача или изберете от nexus.
  • Изберете сървъра за работа, в който ще се изпълнява талантът.
  • Запазете задачата.
  • Сега можете да разгърнете и стартирате работата.

Заключение - Talend Open Studio

„Опростете ETL и ELT с водещия безплатен инструмент с отворен код ETL за големи данни.“ Е линията за отворено студио. Talend Bigdata има много компоненти за работа с огромни данни. Стандартната работа, заданието Bigdata, поточните задачи на Bigdata са различните видове задания, налични в Talend. Работите на Bigdata могат да бъдат създадени в рамка с искра или карта.

Препоръчителни статии

Това е ръководство за Talend Open Studio. Тук обсъждаме предимствата, приложенията и компонентите на Talend Open Studio. Може да разгледате и следните статии, за да научите повече -

  1. Ръководство за Talend интеграция на данни
  2. Важни въпроси за интервю от Talend
  3. Talend срещу Mulesoft: Разлики
  4. Таленд срещу Пентахо: 8 полезни сравнения за научаване

Категория:

Голяма информация