Големи техники за данни: Съединение на технологията и бизнес анализа
Съединението на технология и бизнес анализи -
Много отдавна мъжете водят номадски живот, преди постепенно да се насочат към селското стопанство. Изобретението на колелото, огъня и парната машина често се счита за повратна точка в еволюцията на човечеството към механизация и увеличаване на жизнените удобства.
По същия начин, легендарният Закон за движението и гравитацията на Нютон, Теорията на относителността на Айнщайн, която сега празнува своята 100 -та година или Законът за термодинамиката, направиха революция в науката и повлияха на приложната наука. Изобретението на компютъра, пристигането на персонален компютър и графичен потребителски интерфейс (GUI) са основни етапи в развитието в дигиталната ера. Именно двоичните числа нули и тези са в основата на езиците на ниво сглобяване.
Техники на бинарни и големи данни
На хардуерно ниво нулите и тези захранват веригите в компютър, на бизнес ниво именно техниките за големи данни правят морска промяна в начина, по който компаниите разработват маркетингови стратегии, за да останат конкурентоспособни. Може да се състои от всичко от едноцифрени и многоцифрени, всички съдържащи жизненоважна информация за пазара, функционирането на машина, човешко тяло, транзакции за електронна търговия или просто за всекидневна дейност, която може или не може да има нещо общо с покупката или продажбата.
Обичайно е бизнесът и счетоводните специалисти да говорят за активи и пасиви. Конвенционално активите означават машината, технологията, ноу-хау, човешките ресурси, инфраструктурата, а също и финансовите активи.
Сега промяна на парадигмата се случва, заедно с тези материални активи, някои части от едно и много цифри или данни са се превърнали в най-безценния актив, тъй като организациите и пазарите се увеличават. От гледна точка на маркетинга и стратегията за големи данни, данните са се превърнали в най-важното предимство.
Бизнесът се разраства по размер и мащаб. Вече не е малка красива или жизнеспособна. Многостранните операции, големите търговски центрове и големият обем на електронната търговия са поставили нова тенденция в целия свят. За успеха в този голям бизнес данните и анализът на данните станаха критични. Бизнесът е след Big Data Hadoop, за да го използва, да придобие пазарна интелигентност и да разбере изискванията на клиентите.
Съединението на технология и анализ на данни
Източник на изображението: pixabay.com
Техниките за големи данни, които организациите имат, ще бъдат безсмислени, освен ако няма поддържаща технология, която да извлича данни, да ги обработва и организира, за да могат предприятията да използват този жизненоважен актив. Бернар Мар, известен писател и анализатор заяви, че компаниите, независимо от техния размер, било то Fortune 500 компания или малък магазин за мама и поп, ще изискват използването на Hadoop Big Data, свидетел на промяната, която носи на бизнеса.
Големите техники за данни са съвкупност от големи набори от данни и те са в огромен брой, че са необходими сложни програми за анализ и създаване на смислена информация от тях. Това може да бъде навици за закупуване, честота на ходене на филми, уебсайтове за честота на влизане, онлайн покупки, поръчка на хранителни стоки, честота на смяна на мобилни телефони и т.н.
За анализиране на големи масиви от данни се използват различни инструменти, рамки и техники, които са станали много търсени от индустрията. Според експерти не важните са данните, а какво прави компанията с тези данни.
Сред различните технологии и платформи Hadoop се превърна в най-популярната, въпреки че може да има своите недостатъци. Това е платформа за разработка с отворен код, която е написана на C, C ++, Java и помага на организациите да анализират огромното количество данни в реално време.
Големи техники за данни в реално време
Събирането, съхраняването, преместването и анализирането не е статична дейност, но и динамична, включваща среда в реално време. Данните се събират непрекъснато за самолети, автомобилни двигатели, монитори, свързани с пациенти в болници, онлайн транзакции с кредитни или дебитни карти, всички от които изискват сложни алгоритми, програми, архитектура на големи данни и стабилна възможност за обработка на паметта.
Джон Шрьодер, изпълнителен директор на MapR, заяви, че те имат приложения за големи данни, които защитават милиони притежатели на карти American Express от измамни транзакции и в здравеопазването работят за осигуряване на подобрени процедури за лечение на пациенти с рак.
Глобалните ИТ специалности като Microsoft, Oracle, SAP, IBM са всички в облачната платформа и също така позволяват решения за техники за големи данни.
Техники за големи данни и интернет на нещата
Бързите промени в мрежата и вградената технология дават възможност на множество устройства да бъдат свързани помежду си, което е в състояние да изпраща данни в реално време. Появи се интернет, създаден от „неща“, а не от хора и компютри.
Всяко парче устройство, което носим или използваме, е в състояние да прекрати данните, което от своя страна би имало широко приложение в маркетинга, дизайна, здравеопазването на големи данни и други.
Извличане на данни
Сега мощните суперкомпютри са внедрени за извличане на данни от релационни бази данни и помагат на статистиците и анализаторите да създават модели. Няколко иноватори са разработили инструменти за разработване на модели за прогнозен анализ на големи данни за по-добро вземане на решения от бизнеса. Те също така предоставят лесен графичен потребителски интерфейс (GUI) и са много лесни за използване.
Кариерата в техниките на Big Data
Естествено, достатъчно революцията в техниката на големи данни породи съвсем нова порода експерти, които са свързани с конкретни области на тази голяма анализа на данни и технологии. Сред технологичните умения, горещи в търсенето, са Apache Hadoop, Apache Spark, NoSQL, машинно обучение и извличане на данни, статистически и количествен анализ, SQL, визуализация на данни, учени с данни, езикови умения за програмиране с общо предназначение. Според анализаторите възможностите ще се увеличат през следващото десетилетие благодарение на бързото развитие в тази област.
Наистина има огромно търсене на експертиза за големи данни, свързана с експертиза през 2015 г., като IBM обяви 2 307 позиции през последните дванадесет месеца през юни, съобщи сп. Forbes в средногодишна оценка. Рекламираната заплата за технически специалисти с обучение за големи данни е $ 104 850. Най-търсените умения бяха VMWare експертиза, разработване на приложения, технология с отворен код, съхранение на данни и умения за програмиране на Python.
За индустрията най-добрите, които се възползват от използването на техники и услуги за големи данни са професионални, научни и технически услуги, които представляват 25% от търсенето. Сред останалите водещи категории информационните технологии са 17%, производство 15%, финанси и застраховане 9% и търговия на дребно 8%.
Предимства на анализа на големите данни
1) Съхранение, добив и анализ на данни:
Технологиите с големи данни предоставят възможност за внедряване както на съхранени, така и в реално време данни за различни бизнес и критични приложения
2) Предсказване и прогнозиране на пазара:
В ерата на техниките за големи данни преди компаниите бяха ограничени да правят смислен анализ на данни в реално време или да правят прогнозен анализ при липса на технологии. Примерни проучвания и отзиви на клиентите предложиха единственото решение за стратезите да иновация с нови предложения на пазара.
3) Големият обем от данни се генерира от бизнеса и в предишни години, при недостатъчни инструменти за големи данни за събирането и анализирането им, предприятията не успяха да използват важен актив с тях.
4) В реално време бизнес среда с големи данни, хакерството и кражбата на данни могат да повлияят критично върху работата на организацията, доверието на нейните клиенти и да я направят уязвима при по-нататъшни атаки надолу. Доказано е, че големите данни и Hadoop помагат на организациите да откриват кражбите на данни. Методологиите за кражба на данни се развиват по-бързо от методологиите за борба с кражбите или дейностите по превенция.
Техниките за големи данни са единственото изискване за успех
Hype, създаден от големи данни, не се е справил добре с някои критици, които изтъкват някои от проблемите, свързани с внедряването му в индустрията. Някои анализатори поставят под въпрос дали има положителна възвръщаемост на инвестицията (RoI) и струва ли си времето и усилията, предприети за нейното прилагане. Второто е по отношение на големия обем от данни и анализи, които може да не обяснят „защо“ подобно поведение на потребителите.
Анализът на големи данни може да бъде ефективно използван във връзка с традиционните методологии на проучването (дебели данни), които картографират демографските модели на поведение за спестяване, инвестиране, покупка и разход в различните региони, което дава по-широко разбиране на пазара. Инструментите за големи данни могат да дадат картина на случилото се и как, но „защо“ това се случва, може да се разбере само от широко разбиране на конкретните потребители или регион въз основа на демографски профил, начин на живот, предпочитания за харчене сред други хора, според скептиците на Big Инструменти за данни.
Основни тенденции в технологията Big Data
Според Джон Шрьодер, главен изпълнителен директор и съосновател на MapR, компанията, която доставя решения за Big Data, беше предсказала възникващите тенденции за 2015 г. и повечето от тях се оказаха верни.
Data Hubs към Data Lakes: Данните с данни с мащабируема инфраструктура изглежда се предпочитат, тъй като са икономически привлекателни с намалени разходи на терабайт).
Самообслужване: Инструментите за големи данни за самообслужване ще предоставят възможности на разработчици, учени на данни и анализатори на данни да извършват директно проучване на данните.
Сръчност на данните
Тъй като базата данни се разширява и се изисква по-бърза обработка, наследените системи изглежда забавят процеса. Установено е, че наследените бази данни и складове са твърде бавни и следователно организациите гледат колко бърза е обработката им.
Hadoop в иновационна фаза: Hadoop остава във фазата на иновациите и Shroeder вярва, че е възможно да се осъществи по-нюансиран модел на софтуер с отворен код, комбиниран с дълбоки иновации и развитие на общността.
Предизвикателство за сигурност
Голямото съхранение и обработка на данни вече става все по-уязвимо от заплахите за сигурността в системата с отворен код Hadoop. Функциите за защита обаче все още съвпадат с такива заплахи и особено в сравнение с по-сигурните системи за планиране на корпоративни ресурси (ERP) и релационни бази данни.
Облачни изчисления
Бързият напредък в облачните компютри дава възможност дори на малките и средни предприятия да използват SaaS (софтуер като услуга), платформа като услуга (PaaS) и други платформи, предоставени от доставчици, което им позволява да използват услуги за големи данни на много по-евтини цени цена, при която не се изискват скъпи лицензионни такси и инсталации.
Според Бернар Мар, известен автор и анализатор, сложните алгоритми са внедрени в облачното пространство чрез SaaS, което дава по-точна картина за това кога, как и защо се продава продукт. Цитирайки Чарли Крокер от AutoDesk, той изтъква, че до пристигането на обратната връзка с клиентите на Big Data беше трудно упражнение, но с усъвършенстваните алгоритми, които вече работят, големите компании за данни са по-способни да разберат поведението на потребителите и да създават продукти за тях.
Бъдещето на инструментите за големи данни е светло
International Data Corp прогнозира, че пазарът на големи данни ще нарасне със сложен годишен темп на растеж от 23% до 2019 г., като годишните разходи ще достигнат 48, 6 млрд. Долара през 2019 г. IDC вярва, че трите основни подпазара: инфраструктурата, софтуера и услугите ще нараснат значително през следващите пет години, със софтуерно управление на информацията, откриване и анализи и приложен софтуер, водещ до зареждане с CAGR от 26%.
IDC прогнозира, че услугите, включително професионалните услуги и услугите за поддръжка на инфраструктура и софтуер, ще нараснат при CAGR от 22, 7%. Той прогнозира, че инфраструктурата - състояща се от изчислителна, мрежова, инфраструктура за съхранение и други системи за сигурност, подобна на инфраструктурата на центъра за данни - ще нарасне при CAGR от 21, 7% и ще представлява приблизително половината от всички разходи до 2019 г.
„Способността да се използват големи данни и анализи за разработване на интегриран поглед върху дейностите на клиентите и бизнес операциите ще осигури конкурентно диференциране на компаниите от различни отрасли“, заяви наскоро Джесика, Гьоферт, програмен директор на Глобалната организация за технологични и индустриални изследвания IDC. „Въпреки огромните възможности, големите данни представляват значителни рискове и
Дигиталната трансформация (DX) ще задвижва „всичко, което има значение в ИТ“ през следващите няколко години. Успехът в това, което IDC нарича DX икономиката означава използване на технологии като мобилни, облачни, инструменти за анализиране на големи данни, IoT, AI и роботика, за да „създадете конкурентно предимство чрез нови предложения, нови бизнес модели и нови връзки с клиенти, доставчици и дистрибутори, “Според Франк Генс, главен анализатор на IDC.
Основни извлечения от прогнозите на IDC
- До 2020 г. почти 50% от ИТ бюджетите ще бъдат обвързани с DX (цифрова трансформация) инициативи.
- До 2018 г. ръководителите на Line of Business (LOB) ще контролират 45% + от всички ИТ разходи в световен мащаб, над 60% в САЩ
- До 2017 г. над 50% от разходите за ИТ ще бъдат за нови технологии (мобилни, облачни, инструменти за големи данни и т.н.).
- Дори при бързо развиващите се технологии и платформи е съмнително всички налични данни да бъдат анализирани, нито биха били необходими, казаха някои експерти. Важното е дали съответните данни са идентифицирани и анализирани в полза на заинтересованите страни.
Препоръчителни статии
Ето няколко статии, които ще ви помогнат да получите повече подробности за големите техники за данни, така че просто преминете през линка.
- 8 Най-полезно ръководство по въпроси за интервю с Big Data
- Защо иновациите са най-критичният аспект на големите данни?
- Топ 5 тенденции на големи данни, които компаниите ще трябва да овладеят
- Какво представлява NOSQL уменията Помощ при изграждането на голяма кариера на данни
- Ръководство за запознаване с извличането на данни