Tematem niniejszego skryptu są mechanizmy adaptacji aplikowane w systemach tworzonych przez człowieka. Ogólnym celem adaptacji tego rodzaju jest poprawa działania systemu w trakcie jego działania. Często nie jest możliwe zaprojektowanie systemu funkcjonującego w sposób optymalny natychmiast po uruchomieniu. W tej sytuacji optymalizacja funkcji systemu w trakcie jego działania może być pożyteczna.

Ogólny schemat sytuacji, w której pojawia się problem adaptacji (uczenia się) dyskutowany w niniejszym skrypcie przedstawia rysunek 1. Punktem wyjścia jest pewien system dynamiczny: może być to urządzenie wraz ze środowiskiem, w którym działa lub „światek”, na który oddziałuje pewien program komputerowy. Przez decydenta należy rozumieć sterownik urządzenia lub (pod)program komputerowy. Na podstawie stanu systemu generuje on decyzje, którymi na ten system oddziałuje, np. powoduje podejmowanie przez urządzenie pewnych działań. Problem polega na tym, że nie można z góry zdefiniować dobrych reguł decyzyjnych dla decydenta z jednego lub kilku spośród następujących powodów:

• Dynamika systemu jest nieznana czyli nie wiadomo w jaki sposób na jego stan wypływają aplikowane decyzje,

• Dynamika systemu jest znana w sposób niepełny/niedokładny,

• Dynamika systemu jest na tyle skomplikowana, że projektowanie decydenta staje się bardzo kosztowne.

Narzucającym się w takiej sytuacji rozwiązaniem jest wyposażenie decydenta w możliwość adaptacji lub uczenia się na podstawie interakcji z systemem dynamicznym.

Ostatnim elementem powyższego schematu jest arbiter. Spełnia on dwie funkcje. Po pierwsze stanowi interfejs między parą decydent – system dynamiczny a człowiekiem, który jest użytkownikiem tej pary. Po drugie, arbiter ocenia skutki działania decydenta. Zwykłe zadanie decydenta, polega na tym, aby w sekwencji decyzji osiągnąć pewne cele. Arbiter nie musi wiedzieć jakie decyzje prowadzą do tego celu ale musi umieć rozpoznawać moment, w którym cel zostaje osiągnięty.

Spis treści

1. Wprowadzenie

   1. Przykłady zagadnień, w których pojawia się potrzeba adaptacji i uczenia się

   2. Cel skryptu i poruszane zagadnienia

   3. Trzy dziedziny składające się na zawartość skryptu

   4. Adaptacja i uczenie się jako droga do inteligentnego zachowania się maszyn i programów

Aproksymacja funkcji i podstawowe mechanizmy adaptacji

2. Liniowa aproksymacja funkcji

   1. Aproksymatory i zagadnienie aproksymacji

   2. Aproksymacja liniowa i rekurencyjne najmniejsze kwadraty

   3. Własności statystyczne rekurencyjnych najmniejszych kwadratów

3. Nieliniowa aproksymacja funkcji i sieci neuronowe

   1. Perceptron wielowarstwowy

   2. Iteracyjna optymalizacja i aproksymacja stochastycznej

   3. Uczenie się przy użyciu aproksymacji stochastycznej

   4. Zagadnienie dostrajania parametru kroku

   5. Zagadnienia praktyczne związane z używaniem sieci neuronowych w systemach uczących się

Uczenie się przez wzmacnianie

4. Podstawy

   1. Proces Decyzyjny Markowa

   2. Algorytmy Q-Learning i SARSA

   3. Rozszerzenie algorytmów Q-Learning i sarsa do ciągłych przestrzeni stanów i decyzji

5. Optymalizacja stochastycznego wyboru

   1. Parametryzowane rozkłady prawdopodobieństwa

   2. Algorytm REINFORCE punktowy

   3. Stacjonarna polityka decyzyjna

   4. Algorytm REINFORCE statyczny

   5. Algorytm REINFORCE epizodyczny

6. Algorytm Aktor – Krytyk

   1. Aktor i Krytyk

   2. TD (λ)

7. Aktor – Krytyk z kompatybilną aproksymacją

   1. Optymalizacja średniej nagrody

   2. Gradient polityki

   3. Aktor – Krytyk z kompatybilną aproksymacją

   4. Naturalny Aktor – Krytyk

   5. Dyskonto: ograniczenie wariancji estymatora gradientu

8. Wielokrotne przetwarzanie obserwacji

   1. Algorytm Q-Learning z powtarzaniem doświadczenia

   2. Próbkowanie ważnościowe

   3. Algorytm Aktor – Krytyk z powtarzaniem doświadczenia

   4. Optymalizacja estymatora wskaźnika jakości

Sterowanie adaptacyjne

9. Obiekty dynamiczne

   1. Wstęp

   2. Liniowe obiekty SISO

   3. Dyskretna aproksymacja obiektów o ciągłej dynamice

10. Stabilność i funkcja Lapunowa

    1. Ogólna postać typowego schematu adaptacji

    2. Stabilność

    3. Funkcja Lagunowa

    4. Stabilność w kontekście funkcji Lagunowa

11. Schematy adaptacji dla obiektów liniowych z obserwowalnym stanem

    1. Liniowy obiekt SISO pierwszego rzędu

    2. Uogólnienie

    3. Obiekty liniowe wyższych rzędów

12. Zaawansowane schematy adaptacji

    1. Obiekty o nieliniowej dynamice

    2. Obiekty z nieobserowalnymi pochodnymi stanu

13. Samostrojące się regulatory

    1. Dynamika liniowo parametryzowana

    2. Liniowe najmniejsze kwadraty w czasie ciągłym

    3. Najmniejsze kwadraty z wykładniczym zapominaniem

    4. Adaptacyjny dobór współczynnika zapominania

Synteza

14. Pozostałe podejścia

    1. Stochastyczne sterowanie adaptacyjne

    2. Aproksymowane programowanie dynamiczne

15. Podsumowanie

    1. Uczenie się przez wzmacnianie

    2. Sterownie adaptacyjne

Dodatek

A Probabilistyka

B Dowody