Въведение в архитектурата на хранилището на данни
- Склад за данни е място за съхранение, съдържащо колекции от няколко различни вида данни, придобити от няколко типа източници.
- Целият процес, при който се събират, обработват, съхраняват и анализират външни източници на информация до използваема информация в рамките на набор от системи, обединени от една-единствена схема, известна като Архитектура на хранилището на данни.
Архитектура на склад
Архитектурата на хранилището на данни обикновено се състои от три нива.
- Най-високо ниво
- Средно ниво
- Долен ред
Най-високо ниво
- Top Tier се състои от клиентския преден край на архитектурата.
- Приложената в Трансформирана и Логическа информация, съхранявана в хранилището на данни, ще бъде използвана и придобита за бизнес цели в този ред.
- Съществуват няколко инструмента за генериране и анализ на отчети за генериране на желана информация.
- Тук се извършва извличане на данни, което се превърна в голяма тенденция.
- Всички документи за анализ на разходите, цена и всички функции, които определят бизнес сделка, базирана на печалба, се правят въз основа на тези инструменти, които използват информацията в хранилището на данни.
Средно ниво
- Средният слой се състои от OLAP сървъри
- OLAP е онлайн аналитичен сървър за обработка
- OLAP се използва за предоставяне на информация на бизнес анализатори и мениджъри
- Тъй като се намира в Средния слой, той правилно взаимодейства с информацията, присъстваща в долния ред и предава поглед към инструментите за най-високо ниво, които обработват наличната информация.
- Най-вече релационният или многоизмерен OLAP се използва в архитектурата на хранилища на данни.
Долен ред
Най-ниското ниво се състои главно от източници на данни, инструмент ETL и хранилище на данни.
1. Източници на данни
Източниците на данни се състоят от изходните данни, които са придобити и предоставени на инструментите Staging и ETL за по-нататъшен процес.
2. ETL Инструменти
- ETL инструментите са много важни, защото помагат за комбиниране на логика, сурови данни и схема в едно и зареждат информацията в Data Warehouse Or Data Marts.
- Понякога ETL зарежда данните в Data Marts и след това информацията се съхранява в Data Warehouse. Този подход е известен като подходът отдолу нагоре.
- Подходът, при който ETL зарежда информация директно в хранилището на данни, е известен като подход отгоре надолу.
Разлика между подхода отгоре надолу и подхода отдолу нагоре
| Подход отгоре-надолу | Подход отдолу нагоре |
| Осигурява категоричен и последователен изглед на информация, тъй като информацията от хранилището на данни се използва за създаване на Маркетиране на данни | Отчетите могат да се генерират лесно, тъй като първо се създават данни от данни и е сравнително лесно да се взаимодейства с мартове за данни. |
| Силен модел и затова предпочитан от големите компании | Не толкова силно, но може да се разшири складът на данни и да се създаде броят на данните |
| Времето, разходите и поддръжката са високи | Времето, разходите и поддръжката са ниски. |
Маркетиране на данни
- Data Mart е също компонент за съхранение, използван за съхраняване на данни от конкретна функция или част, свързани с дадена компания от отделен орган.
- Data mart събира информацията от Data Warehouse и затова можем да кажем, че mart mart съхранява подмножеството от информация в Data Warehouse.
- Маркерите за данни са гъвкави и малки по размер.
3. Склад за данни
- Data Warehouse е централният компонент на цялата архитектура на хранилището на данни.
- Той действа като хранилище за съхраняване на информация.
- Големи количества данни се съхраняват в хранилището на данни.
- Тази информация се използва от няколко технологии като Big Data, които изискват анализ на големи подмножества от информация.
- Data Mart също е модел на Data Warehouse.
Различни слоеве на архитектурата на хранилищата на данни
Има четири различни типа слоеве, които винаги ще присъстват в архитектурата на хранилищата на данни.
1. Слой на източника на данни
- Слоят източник на данни е слойът, където се срещат данните от източника и впоследствие се изпращат на другите слоеве за желаните операции.
- Данните могат да бъдат от всякакъв тип.
- Изходните данни могат да бъдат база данни, електронна таблица или всякакъв друг вид текстов файл.
- Изходните данни могат да бъдат във всеки формат. Не можем да очакваме да получим данни със същия формат, като се има предвид, че източниците са много различни.
- В реалния живот могат да бъдат някои примери за изходни данни
- Регистрационни файлове на всяко конкретно приложение или работа или запис на работодатели във фирма.
- Данни от проучвания, данни на фондовата борса и др.
- Данни от уеб браузъра и много други.
2. Слой за стадиране на данни
Следващите стъпки се извършват в слой за стадиране на данни.
1. Извличане на данни
Данните, получени от изходния слой, се подават в поетапния слой, където първият процес, който се осъществява с придобитите данни, е извличането.
2. Кацане база данни
- Извлечените данни временно се съхраняват в база данни за кацане.
- Той извлича данните, след като данните са извлечени.
3. Зона на постановка
- Вземат се данните в базата данни и се извършват няколко проверки на качеството и поетапни операции в зоната на поставяне.
- Структурата и схемата също са идентифицирани и се правят корекции в данните, които са нередовни, като по този начин се опитват да създадат обща информация между получените данни.
- Наличието на място или настройка за данните непосредствено преди трансформацията и промените е допълнително предимство, което прави процеса на поетапност много важен.
- Улеснява обработката на данни.
4. ETL
- Това е извличане, преобразуване и натоварване.
- ETL Tools се използват за интегриране и обработка на данни, където логиката се прилага към доста сурови, но донякъде подредени данни.
- Тези данни се извличат според аналитичния характер, който се изисква и се трансформират в данни, които се считат за подходящи за съхраняване в хранилището на данни.
- След Трансформацията данните или по-скоро информацията се зареждат накрая в хранилището на данни.
- Някои примери за ETL инструменти са Informatica, SSIS и т.н.
3. Слой за съхранение на данни
- Обработените данни се съхраняват в хранилището на данни.
- Тези данни се изчистват, трансформират и подготвят с определена структура и по този начин предоставят възможности на работодателите да използват данни, както се изисква от бизнеса.
- В зависимост от подхода на архитектурата, данните ще се съхраняват в Data Warehouse, както и в Data Marts. Маркерите за данни ще бъдат обсъдени на по-късните етапи.
- Някои от тях включват и оперативен магазин за данни.
4. Слой за представяне на данни
- Този слой, където потребителите могат да взаимодействат с данните, съхранявани в хранилището на данни.
- Ще бъдат използвани заявки и няколко инструмента за получаване на различни видове информация въз основа на данните.
- Информацията достига до потребителя чрез графичното представяне на данни.
- Инструментите за отчитане се използват за получаване на бизнес данни, а бизнес логиката също се прилага за събиране на няколко вида информация.
- Информационната информация и операциите и производителността на системата също се поддържат и разглеждат в този слой.
заключение
Важен момент за Data Warehouse е неговата ефективност. За да създадем ефективно хранилище за данни, ние изграждаме рамка, известна като рамка за бизнес анализ. Има четири вида мнения по отношение на дизайна на склад за данни.
1. Изглед отгоре надолу: Този изглед позволява да се избира само специфична информация, необходима за склад на данни.
2. Изглед на източник на данни : Този изглед показва цялата информация от източника на данни до това как се трансформира и съхранява.
3. Изглед на хранилище на данни: Този изглед показва информацията, присъстваща в хранилището на данни чрез таблици с факти и таблици с измерения.
4. Изглед на бизнес заявки: Това е изглед, който показва данните от гледна точка на потребителя.
Препоръчителни статии
Това е ръководство за архитектурата на хранилището на данни. Тук обсъдихме различните видове изгледи, слоеве и нива на архитектурата на хранилищата на данни. Можете да разгледате и другите ни предложени статии, за да научите повече -
- Кариера в съхранението на данни
- Как работи JavaScript
- Въпроси за интервю за хранилище на данни
- Какво е Панда