Uogólnione i skalowalne optymalne rzadkie drzewa decyzyjne (GOSDT)

Opublikowane ponownie przez Plato

Obserwuje: 0

Uogólnione i skalowalne optymalne rzadkie drzewa decyzyjne (GOSDT)
Image by fabrykasimf na Freepik

Często mówię o możliwych do wyjaśnienia metodach sztucznej inteligencji (XAI) i o tym, jak można je dostosować, aby rozwiązać kilka bolączek, które uniemożliwiają firmom budowanie i wdrażanie rozwiązań AI. Możesz sprawdzić moje blog jeśli potrzebujesz szybkiego odświeżenia metod XAI.

Jedną z takich metod XAI są drzewa decyzyjne. Historycznie zyskały one znaczną popularność ze względu na ich interpretowalność i prostotę. Jednak wielu uważa, że drzewa decyzyjne nie mogą być dokładne, ponieważ wyglądają na proste, a zachłanne algorytmy, takie jak C4.5 i CART, nie optymalizują ich dobrze.

Twierdzenie jest częściowo uzasadnione, ponieważ niektóre warianty drzew decyzyjnych, takie jak C4.5 i CART, mają następujące wady:

Skłonny do przeuczenia, szczególnie gdy drzewo staje się zbyt głębokie ze zbyt dużą liczbą gałęzi. Może to spowodować niską wydajność w przypadku nowych, niewidocznych danych.
Ocena i tworzenie prognoz w przypadku dużych zestawów danych może być wolniejsze, ponieważ wymagają one podejmowania wielu decyzji na podstawie wartości cech wejściowych.
Radzenie sobie ze zmiennymi ciągłymi może być dla nich trudne, ponieważ wymagają, aby drzewo podzieliło zmienną na wiele mniejszych przedziałów, co może zwiększyć złożoność drzewa i utrudnić identyfikację znaczących wzorców w danych.
Często nazywany algorytmem „chciwym”, podejmuje lokalnie optymalną decyzję na każdym kroku, nie biorąc pod uwagę konsekwencji tych decyzji dla przyszłych kroków. Drzewa suboptymalne są wynikiem CART, ale nie istnieje żadna „prawdziwa” miara, która mogłaby to zmierzyć.

Bardziej wyrafinowane algorytmy, takie jak Ensemble Learning Methods, są dostępne w celu rozwiązania tych problemów. Często jednak można je uznać za „czarną skrzynkę” ze względu na podkreślone działanie algorytmów.

Jednak ostatnie prace wykazały, że jeśli zoptymalizujesz drzewa decyzyjne (zamiast używać zachłannych metod, takich jak C4.5 i CART), mogą one być zaskakująco dokładne, w wielu przypadkach tak dokładne, jak czarna skrzynka. Jednym z takich algorytmów, który może pomóc zoptymalizować i rozwiązać niektóre z wyżej wymienionych wad, jest GOSDT. GOSDT to algorytm do tworzenia rzadkich optymalnych drzew decyzyjnych.

Blog ma na celu delikatne wprowadzenie do GOSDT i przedstawienie przykładu, w jaki sposób można go zaimplementować w zbiorze danych.

Ten blog jest oparty na artykule badawczym opublikowanym przez kilku fantastycznych ludzi. Możesz przeczytać gazetę tutaj. Ten blog nie zastępuje tego artykułu ani nie będzie dotykał niezwykle matematycznych szczegółów. Jest to przewodnik dla praktyków zajmujących się nauką o danych, aby dowiedzieć się więcej o tym algorytmie i wykorzystać go w codziennych przypadkach użycia.

W skrócie, GOSDT rozwiązuje kilka głównych problemów:

Dobrze obsługuj niezrównoważone zestawy danych i optymalizuj różne funkcje celu (nie tylko dokładność).
W pełni optymalizuje drzewa i nie tworzy ich łapczywie.
Jest prawie tak szybki jak algorytmy zachłanne, ponieważ rozwiązuje NP-trudne problemy optymalizacyjne dla drzew decyzyjnych.

Drzewa GOSDT wykorzystują dynamiczną przestrzeń wyszukiwania poprzez drzewa mieszające, aby poprawić wydajność modelu. Ograniczając przestrzeń wyszukiwania i wykorzystując granice do identyfikacji podobnych zmiennych, drzewa GOSDT mogą zmniejszyć liczbę obliczeń potrzebnych do znalezienia optymalnego podziału. Może to znacznie skrócić czas obliczeń, głównie podczas pracy ze zmiennymi ciągłymi.
W drzewach GOSDT granice podziału są stosowane do drzew częściowych i służą do eliminacji wielu drzew z przestrzeni wyszukiwania. Pozwala to modelowi skupić się na jednym z pozostałych drzew (które może być drzewem częściowym) i ocenić je bardziej efektywnie. Zmniejszając przestrzeń wyszukiwania, drzewa GOSDT mogą szybko znaleźć optymalny podział i wygenerować dokładniejszy i łatwiejszy do interpretacji model.
Drzewa GOSDT są zaprojektowane do obsługi niezrównoważonych danych, co jest powszechnym wyzwaniem w wielu rzeczywistych aplikacjach. Drzewa GOSDT odnoszą się do niezrównoważonych danych przy użyciu metryki dokładności ważonej, która uwzględnia względne znaczenie różnych klas w zbiorze danych. Może to być szczególnie przydatne, gdy istnieje z góry określony próg dla pożądanego poziomu dokładności, ponieważ pozwala modelowi skupić się na prawidłowej klasyfikacji próbek, które są bardziej krytyczne dla aplikacji.

Drzewa te bezpośrednio optymalizują kompromis między dokładnością szkolenia a liczbą liści.
Zapewnia doskonałą dokładność szkolenia i testu przy rozsądnej liczbie liści
Idealny do bardzo nie wypukłych problemów
Najbardziej efektywne w przypadku małej lub średniej liczby funkcji. Ale może obsłużyć do dziesiątek tysięcy obserwacji przy zachowaniu swojej szybkości i dokładności.

Czas zobaczyć to wszystko w akcji!! W moim poprzednim blogu rozwiązałem problem z akceptacją wniosku o pożyczkę za pomocą klasyfikacji Keras. Użyjemy tego samego zestawu danych do zbudowania drzewa klasyfikacyjnego za pomocą GOSDT.

Kod autora

Najwyższa Kaur jest AVP w Morgan Stanley. Jest miłośniczką fitnessu i technologii. Jest założycielką społeczności o nazwie DataBuzz.