Въведение в алгоритма за усилване на градиента
Техниката за преминаване на обучаващите се през седмицата в силен обучаващ се нарича Boosting. Процесът на алгоритъм за увеличаване на градиента работи върху тази теория на изпълнение. Алгоритъмът за повишаване на адапта може да бъде изобразен, за да обясни и лесно да разбере процеса, чрез който boost се инжектира в наборите от данни.
Дърво на решения
Дървото на решенията е инструмент за поддръжка на вердикт, който определя решенията, като предполага дървовидни и техните вероятни последици, заедно с резултати от възможни събития, разходи за ресурси и т.н.
Изследователските операции широко използват тези дървета на решенията конкретно при анализа на решенията, Той също така им позволява да постигнат дадена цел и е също така възхитен инструмент в машинното обучение.
Алгоритъм на AdaBoost
Алгоритъмът AdaBoost започва с подготовка на дърво за решение, в което всяко наблюдение се разпределя с еквивалентно тегло. След преценката на първото дърво, ние увеличаваме тежестите на тази интерпретация, които са сложни за категоризиране и подчиняване на тежестите за онези, които са лесни за категоризиране. В резултат на това предразсъдъчните данни се развиват от второто дърво. Тук дизайнът е да се усъвършенства по-добре върху пророчеството на първото дърво.
След това изчислете грешката в категоризацията от този иновативен модел за събиране на 2 дървета и култивирайте третото дърво, за да предвидите модифицираните остатъци. Горната процедура се повтаря в няколко случая. Наблюденията, които не са добре дефинирани в предходните дървета, се определят с помощта на следващи дървета. Прогнозите на заключителния модел на сглобяване са следователно предразсъдъчната фигура на прогнозите, завършени от по-ранните модели на дърво.
Обучителен GBM модел
За да се инструктира gbm модел на R език, GBM библиотеката трябва да бъде инсталирана и повикване към тази инсталирана GBM библиотека от програмата за повикване. Също така трябва да се посочат необходимите аргументи, ключовите аргументи са изброени по-долу,
1. Формулата
2. Разпределение на променливите на отговора
3. Променлива прогноза
4. Променлива реакция
Обичайните дистрибуции, използвани в GBM моделите, са Bernoulli, Poisson и т.н.
Най-накрая се очаква данните и аргументите на n.trees да бъдат уточнени. По подразбиране gbm моделът ще вземе за даденост 100 дървета, което може да предложи е приблизително сближаване на качеството на концерта на нашия gbm.
Примерен код №1
install.packages ("gbm")
library(gbm)
GBM <- gbm( formula = response,
distribution = " bernoulli ",
data = train
n.trees = 3000)
Ето следваща стъпка, действителният набор от данни е разделен на разделяне на влак и тест на база данни и това се постига с помощта на функцията createDataPartition (). Този вид разделяне ще бъде много полезен в по-късната част за обучение на тестовия комплект, използвайки обучения влак, и отгоре на това, което се определят реалните прогнози за оригиналните данни.
Примерен код №2
TRAIN <- read.csv("Train_dd.csv")
set.seed(77820)
intrain <- createDataPartition( y = Train$survived,
list = false )
Train <- Train(inTrain) Train <- Train(-inTrain)
Следващата стъпка е да тренираме gbm модел с помощта на нашия тренировъчен специалист. Макар че всички допълнителни аргументи са точно това, което е съобщено в горните раздели. споменават се още два допълнителни аргумента - взаимодействие, дълбочина и свиване.
1. Дълбочината на взаимодействие изписва максималната дълбочина на всяко дърво
2. Измерването на скоростта на интелекта се постига с помощта на свиването. тук всички допълнителни стойности в базовите дървета учащи се намаляват с помощта на това свиване.
Освен това, тази техника позволява да се показват контролни изявления, които работят при условни резултати. Изследователските операции широко използват тези дървета на решенията конкретно при анализа на решения. Освен това ни позволяват да постигнем цел и са също така възхитен инструмент в машинното обучение.
GBM модел Изход
Резултатът от модела GBM съдържа подробности за общия брой дървета, които се използват за изпълнението. Това ще помогне да се предвиди влиянието на променливата на предсказателя в модела, също така таблицата с променлива важност и графиката на модела могат да бъдат получени от обобщената функция на изхода на GBM.
Предскажете () метод, използвайки GBM модел
Така че, за да направим прогнозите в горната част на ключовите данни тук, модела GBM, като другите модели, се предполага методът на прогнозиране. Също така, броят на общия брой на използваните дървета на решения трябва да бъде посочен ръчно в раздела с аргументи на метода.
Примерен код
predictions <- predict( object = simpleGBMmodel,
newdata = test,
n.trees = 1)
Подобрения в модела GBM
Ограничения на дърветата
- Важно е, че слабите учащи се обхващат умения, но остават слаби.
Претеглени актуализации
- Последователно добавяне се прилага от прогнозите на всяко дърво
- Дарението на всяко дърво в тази сума трябва да бъде масово, за да се забави обучението на алгоритмите. този процес се нарича свиване.
Стохастичен алгоритъм за увеличаване на градиент
Тази еквивалентна печалба може да се използва за намаляване на асоциацията, обградена от дърветата.
Алгоритъм за увеличаване на градиентните санкции
Параметризираните дървета могат да бъдат запълнени с допълнителни ограничения, класическото дърво на решения не може да се използва като слаби учащи. Вместо това се използва персонализирано такова, наречено регресионно дърво, което има числови стойности в листните възли.
Препоръчителни статии
Това е ръководство за алгоритъм за усилване на градиента. Тук обсъждаме въведение, дърво за решения, алгоритъм на AdaBoost, модел за обучение на GBM, подобрения на модела на GBM, заедно с примерен код. Можете да разгледате и другите ни предложени статии, за да научите повече -- Алгоритъм на дървото за решение
- Алгоритми за машинно обучение
- XGBoost Алгоритъм
- Алгоритми за научни данни
- C ++ Алгоритъм | Примери за C ++ алгоритъм
- Прилагане на Поасонова регресия в R