Какво е Apache Spark?
Hadoop се използва от организациите за анализ на данни за дълго. Основното предизвикателство с Hadoop е, че отнема много време да се изпълняват заявки върху голям набор от данни. За решаване на този проблем AMP лабораторията на UC Berkeley стартира Apache Spark през 2009 г. Apache Spark е двигател с отворен код за анализи на големи данни. Това е клъстерна изчислителна система, предназначена за по-бързи изчисления.
Разбиране на Apache Spark
Apache Spark е рамкова изчислителна рамка за общо предназначение. Той е въведен от AMP лабораторията на UC Berkeley през 2009 г. като разпределена изчислителна система. По-късно поддържана от Apache Software Foundation от 2013 г. до днес. Spark е светлинен бързо изчислителен двигател, предназначен за по-бърза обработка на големи размери на данни. Той се базира на модела на Hadoop Map Reduce. Основната характеристика на Spark е неговата обработка в паметта, която прави изчисленията по-бързи. Той има собствена система за управление на клъстери и използва Hadoop за целите на съхранението.
Spark поддържа пакетно приложение, итеративна обработка, интерактивни заявки и поточно предаване на данни. Намалява тежестта от управлението на отделни инструменти за съответното натоварване.
Как Apache Spark прави работата толкова лесна?
Spark е мощен двигател за обработка на данни с отворен код. Той е изграден, за да улесни и ускори обработката на големи данни. Той поддържа Java, Python, Scala и SQL, което дава на програмиста свобода да избере какъв език им е удобен и да започне бързото развитие. Spark е базиран на MapReduce, но за разлика от MapReduce, той не разбърква данни от един клъстер в друг, Spark има вътрешна памет, която го прави по-бърз от MapReduce, но все още мащабируем. Може да се използва за изграждане на библиотеки за приложения или за извършване на анализи върху големи данни. Spark поддържа мързелива оценка. Това означава, че първо ще изчака пълния набор от инструкции и след това ще го обработи. Да предположим, ако потребителят иска записи, филтрирани по дата, но той иска само топ 10 записа. Spark ще извади само 10 записа от дадения филтър, по-скоро извличането на всички записи от филтъра и след това ще покаже 10 като отговор. Това ще спести време, както и ресурси.
Какво можете да направите с Apache Spark?
С искра можете да извършвате обработка на данни в реално време, както и пакетна обработка. Освен обработката на данни искрата поддържа сложни алгоритми за машинно обучение. Той може да повтаря данни по-бързо. Spark има следните библиотеки за поддържане на множество функции:
- MLlib е библиотеката, която предоставя възможности за машинно обучение за разпалване.
- GraphX е за създаване и обработка на графики.
- Spark SQL и библиотеката с рамки за данни са за изпълнение на SQL операции върху данни.
- Библиотеката с искрови потоци е за обработка на поточно предаване в реално време.
Работа с Apache Spark
Точно както искрата MapReduce работи върху разпределените изчисления, тя отнема кода и програмата Driver създава задача и я изпраща на DAG Scheduler. DAG създава график на заданието и изпраща заданието на Task Scheduler. След това Task Scheduler изпълнява задачата чрез система за управление на клъстери.
Spark използва главна / подчинена архитектура, главният координира и разпределя задачата, а останалата част всички разпределени системи са подчинени. Основната система се нарича “Driver”.
Необходими умения
Apache Spark е базиран на Java и също така поддържа Scala, Python, R и SQL. По този начин човек, който владее някой от тези езици, може да започне да работи с Apache Spark.
Apache Spark е разпределена изчислителна система, така че когато започнете с Apache Spark, човек също трябва да има знания за това как работи разпределената обработка. Също така, за използването на искра в аналитиката, някой, който има познания за аналитиката, може да се възползва от нея.
Най-добрите компании за свещи Apache
По-долу са няколко топ компании, които използват Apache Spark:
- Амазонка
- Алибаба Таобао
- Baidu
- eBay Inc.
- Hitachi Solutions
- IBM Almaden
- Nokia Solutions and Networks
- NTT DATA
- Simba Technologies
- Станфорд Зори
- Съветник за пътуване
- Yahoo!
Защо трябва да използваме Apache Spark?
Spark е разпределен изчислителен двигател, който може да се използва за обработка на данни в реално време. Въпреки че Hadoop вече беше там на пазара за обработка на големи данни, Spark има много подобрени функции. По-долу са някои от тези функции:
- Скорост : Въпреки че искрата се основава на MapReduce, тя е 10 пъти по-бърза от Hadoop, когато става дума за обработка на големи данни.
- Използваемост: Spark поддържа множество езици, като по този начин улеснява работата.
- Изискан анализ: Spark предоставя сложен алгоритъм за големи анализи на данни и машинно обучение.
- Обработка в паметта: За разлика от Hadoop, Spark не премества данни във и извън клъстера.
- Мързелива оценка: Това означава, че искрата чака кода да завърши и след това да обработи инструкцията по възможно най-ефективния начин.
- Толерантност на грешки: Spark има подобрена поносимост при отказ в сравнение с Hadoop. Както съхранението, така и изчисленията могат да понасят повреда чрез архивиране на друг възел.
Обхват
Бъдещето е свързано с големи данни и искрата предлага богат набор от инструменти за работа в реално време с големия размер на данните. Неговата бърза скорост на осветяване, поносимост на грешките и ефективна обработка на паметта правят Spark бъдеща технология.
Защо се нуждаем от Apache Spark?
Искрата е инструмент на едно гише за обработка на потоци в реално време, обработка на партиди, създаване на графики, машинно обучение, анализи на големи данни. Той поддържа SQL за търсене на данни. Освен това е съвместим с Hadoop и други облачни доставчици като Amazon, Google Cloud, Microsoft Azure и др. Има сложни алгоритми за анализиране на големи данни и поддържа итеративна обработка за машинно обучение.
Коя е подходящата аудитория за изучаване на технологии Apache Spark?
Всеки, който иска да направи някои анализи на големи данни или машинно обучение, може да бъде подходящата аудитория за Apache Spark. Това е най-подходящият инструмент за обработка на поточна информация в реално време.
Как тази технология ще ви помогне в кариерния растеж?
Apache Spark е технология от ново поколение. Работата е лесно с това, че поддържа няколко езика. Но ученето на искра може да ви навлезе в най-добре платените работни места на пазара с най-добрите компании.
заключение
Apache Spark е технология от ново поколение за обработка на данни в реално време и за обработка на големи данни. Лесно е да се учи и дава възможност за страхотна кариера.
Препоръчителни статии
Това е ръководство за това какво е Apache Spark. Тук обсъдихме растежа на кариерата, уменията и предимствата на Apache Spark. Можете да разгледате и другите ни предложени статии, за да научите повече -
- Искрови команди
- Какво е SQL Server?
- Как да инсталирате Spark
- Какво е Azure?
- Spark SQL Dataframe
- Рамки за данни в R
- Видове съединения в Spark SQL (Примери)