Кариера в Хадоп - Въведение
Hadoop не е обикновена рамка в света на големите данни. Той има широка екосистема с чадър на свързани технологии. По същата причина кариера в Хадооп е обещаваща. Ако добре разбирате основите на Hadoop, това ще бъде основа за голяма кариера в Хадооп.
Образование до кариера в Хадоп
Подобно на много нови технологии за данни, Hadoop не изисква конкретна образователна подготовка като такава. Около половината от разработчиците на Hadoop са от не-компютърни науки като статистика или физика. Така че е ясно, че предисторията не пречи да влезете в света на Hadoop, при условие че сте готови да научите основи. Има добри онлайн покрития за курсове Hadoop - този от eduCBA е най-добрият пример - master-apache-Hadoop
Освен това, ако искате да се придвижите по-дълбоко в определена област на управление на клъстери Hadoop или моделиране на данни в материалите на Hive по всяка конкретна тема, достъпни като онлайн курсове и учебници. През повечето време клъстерите Hadoop ще бъдат създадени в облачен доставчик като AWS или Azure. Затова запознайте се с всеки доставчик на облак по ваш избор ще ви помогне много. Услугата Hadoop от AWS се нарича EMR.
Популярната специализация включва:
- Искри - Мащабируем двигател за обработка на данни в паметта
- HBase - Няма SQL база данни отгоре на HDFS
- Beam - Поток за обработка на данни от първи подход
- Pig - скриптове за трансформация на данни (ETL)
- Кошер - Съхранение на данни
- Mahout, Spark MLlib - Мащабируемо машинно обучение на Hadoop
- Apache Drill - SQL двигател на Hadoop
- Flume, Sqoop - Услуги за генериране на данни
- Solr & Lucene - Търсене и индексиране
Кариерна пътека в Хадооп
Според резултатите от изследването на Stack Overflow Survey 2017, Hadoop е лидер в най-популярната и най-обичана рамка в пространството с големи данни (Survey Link). Това е възможно само защото хората от различна IT перспектива намериха Hadoop за потенциален път в кариерата и искат да преминат.
Каквато и да е вашата настояща роля на ИТ, ще има лесно приспособимо преминаване към кариера в света на Hadoop. Някои популярни примери -
- Разработчик на софтуер (програмист) -> Hadoop Data Developer, който се занимава с различни SDK за абстракция на Hadoop и извлича стойност от данните.
- Анализатор на данни -> Значи вие сте специалист в SQL.Huge възможност в Hadoop да работите върху SQL двигатели като Hive или Impala
- Бизнес анализатор -> Организации, които се опитват да станат по-печеливши, използвайки масово събрани данни и ролята на бизнес анализатора е от решаващо значение за това.
- ETL Developer -> Ако работите като традиционен разработчик на ETL, лесно можете да преминете към Hadoop ETL с помощта на инструменти като Spark.
- Тестери -> В света на Hadoop има огромно търсене на тестери. Разбирайки основите на Hadoop и профилирането на данни, всеки тестер може да премине към тази роля.
- BI / DW професии -> Лесно може да преминете към архитектура на данни Hadoop към Моделиране на данни.
- Старши ИТ специалисти -> С дълбоко разбиране на домейна и съществуващите предизвикателства в света на данните, старши професионалист може да стане консултант, като придобие знания за това как Hadoop се опитва да реши тези предизвикателства.
- Има родови роли като Data Engineers или Big Data Engineering, който е отговорен за внедряването на решение най-вече от облачните доставчици. Чрез получаване на знания за компонентите на данните от облака предоставя, това ще бъде обещаваща роля.
Длъжности за работа
Екосистемата Hadoop предлага разнообразни кариерни пътеки
- MapReduce Developer - Основно роля на Java разработчици, които също разбират как системите на Hadoop работят вътре. Има абстракция като Hive или Pig, все още заданията на MapReduce са необходими за високоефективни системи. Разработчиците на MapReduce са тези, които разбират системата за влизане и излизане и плащат наистина високо.
- Администратори на Hadoop - Това са хора, отговорни за поддържането на клъстера Hadoop здрави и работещи. Това може да включва типични администраторски задачи като редовни системни проверки на здравето, но повечето задачи, необходими за разбиране на архитектурата на системата Hadoop.
- Devops - внедряване на нови системни компоненти и други промени, свързани с развитието в клъстера Hadoop. Отговорността на тази роля варира много и зависи от културата на организацията.
- Разработчик на данни - обработка на данни на върха на Hadoop. Тази една от най-популярните роли в екосистемата Hadoop. Хората от SQL или аналитичен фон са най-подходящи за тези роли. Предимно работят върху абстракция на Hadoop на високо ниво като кошера или прасето.
- Администратор по сигурността на данните - Данните са най-ценните активи и нейното осигуряване е най-важно. Администраторите по сигурността осигуряват стандартни отраслови политики и най-добри практики за защита на данните, с разбиране за ограничаване на системата
- Визуализатор на данни - Работете с инструментите за визуализация от ново поколение, които позволяват динамично рязане и агрегиране на данни с кеширане на данни в паметта
- ETL Developer - Трансформирайте данни за подобряване на качеството на данните или според бизнес логиката, използвайки инструменти на екосистемата Hadoop. Процесът на ETL може да бъде поточен или пакетен.
- System Architect - Проектиране на високоефективни системи, отчитащи наличността и трайността на данните по рентабилен начин. Зависи до голяма степен от доставчика на хардуер.
- Архитект на данни - Освен традиционния логически / физически дизайн на данни, много неща като кодиране на колони, денормализация, дизайн на дялове и т.н. ще бъдат отговорност на архитекта на данни.
Препоръчителни курсове
- Онлайн обучение за XML и Java
- Node.JS Курсове
- Курс за обучение на Silverlight
- Програма Ember.JS
Заплата
Средната заплата на софтуерен разработчик в САЩ е 90 956 долара годишно, докато средната заплата на разработчика на Hadoop е много по-висока - 118 234 долара годишно (Както на сайта наистина --.com)
Заплати на разработчика на Hadoop в топ компании в САЩ (Ref: zaista.com)
| ябълка | 147 573 долара годишно |
| Wipro | 110 553 долара годишно |
| HERO.jobs | 158 715 долара годишно |
| MBCAA | 133 422 долара годишно |
| Предприятия Unlimited Inc | 130 000 долара годишно |
| Nityo Infotech Services Pvt. Ltd. | $ 128 633 на година |
| СЕВЕРНА ЗВЕЗДА | 126 370 долара годишно |
| PRI технология | $ 121 396 годишно |
| NITYO INFOTECH | 116 909 долара годишно |
| HortonWorks, Inc | $ 110 710 годишно |
Кариерни перспективи
Екосистемата на Hadoop се разминава много, за да отговори на промяната в нуждите на бизнеса. Тъй като генерираните данни се увеличават експоненциално и все повече и повече организации стават задвижвани от данни, значимостта на системата Hadoop само ще нараства.
Някои от забележителните тенденции:
- Преминаване от пакетна обработка към поточен първи подход за обработка на данни с помощта на Spark and Beam
- По-модел на машинно обучение в реално време, приложен към данни в реално време, използвайки Spark ML
- Съединени SQL двигатели от съхранение на данни като Presto в началото на S3 за ad-hoc анализ на върха на езерото с данни.
- Колонни MPP бази данни като AWS Redshift за бърз достъп до данни
Тъй като основен аспект на обработката на големи данни лежи върху разпределени и хоризонтално мащабируеми системи, устойчиви на откази, което е добре внедрено от Hadoop, Hadoop ще продължи като водеща екосистема за обработка на данни.
Препоръчителен член
Това е ръководство за Кариера в Хадоп. Тук сме обсъдили въвеждането, образованието, кариерния път в Hadoop, заплатите и кариерните перспективи в Hadoop. можете също да разгледате следната статия, за да научите повече -
- Azure Paas срещу Iaas и техните полезни ползи
- Разберете разликите между Java срещу Node JS
- Най-добрият експертен съвет относно кариерата в мейнфрейм
- Кариери в SQL
- Полезна кариера като софтуерен инженер
- Hadoop Administrator | Път за умения и кариера