I. WPROWADZENIE DO GŁĘBOKIEGO UCZENIA (1) 1. Widzenie biologiczne i maszynowe (3) Widzenie biologiczne (3) Widzenie maszynowe (8) Neocognitron (8) LeNet-5 (9) Tradycyjne podejście w uczeniu maszynowym (12) Sieć ImageNet i konkurs ILSVRC (13) AlexNet (14) Plac zabaw TensorFlow (17) Quick, Draw! (19) 2. Języki ludzki i maszynowy (21) Przetwarzanie języka naturalnego przy użyciu głębokiego uczenia (21) Sieci głębokiego uczenia automatycznie uczą się reprezentacji danych (22) Przetwarzanie języka naturalnego (23) Krótka historia wykorzystania głębokiego uczenia w przetwarzaniu języka naturalnego (24) Matematyczne reprezentacje języka (25) Kodowanie słów 1 z n (26) Wektory słów (27) Działania na wektorach słów (29) word2viz (30) Reprezentacje lokalne i rozproszone (32) Elementy naturalnego języka ludzi (33) Google Duplex (35) 3. Sztuka maszynowa (39) Zakrapiana impreza (39) Arytmetyka nieprawdziwych twarzy (41) Transfer stylu: konwersja zdjęcia na obraz Moneta (i odwrotnie) (44) Tworzenie własnych, fotograficznie realistycznych rysunków (45) Tworzenie realistycznych obrazów na podstawie tekstu (45) Przetwarzanie obrazów przy użyciu głębokiego uczenia (46) 4. Maszyny i gry (49) Głębokie uczenie, sztuczna inteligencja i inne bestie (49) Sztuczna inteligencja (49) Uczenie maszynowe (50) Uczenie się reprezentacji (51) Sztuczne sieci neuronowe (51) Głębokie uczenie (51) Widzenie maszynowe (52) Przetwarzanie języka naturalnego (53) Trzy kategorie problemów uczenia maszynowego (53) Uczenie nadzorowane (53) Uczenie nienadzorowane (54) Uczenie przez wzmacnianie (54) Głębokie uczenie przez wzmacnianie (56) Gry wideo (57) Gry planszowe (60) AlphaGo (60) AlphaGo Zero (62) AlphaZero (64) Manipulowanie obiektami (66) Popularne środowiska dla głębokiego uczenia przez wzmacnianie (68) OpenAI Gym (68) DeepMind Lab (68) Unity ML-Agents (71) Trzy kategorie sztucznej inteligencji (71) Sztuczna wąska inteligencja (71) Sztuczna ogólna inteligencja (71) Sztuczna superinteligencja (72) II. PODSTAWY TEORETYCZNE W ILUSTRACJACH (73) 5. Wóz (kodu) przed koniem (teorii) (75) Wymagania (75) Instalacja (76) Prosta sieć i biblioteka Keras (76) Baza MNIST odręcznych cyfr (76) Schemat sieci (78) Załadowanie danych (79) Przeformatowanie danych (81) Zaprojektowanie architektury sieci neuronowej (82) Trenowanie modelu sieci neuronowej (83) 6. Sztuczny neuron wykrywający hot dogi (85) Biologiczna neuroanatomia (85) Perceptron (86) Wykrywacz: "hot dog" - "nie hot dog" (86) Najważniejsza formuła w tej książce (90) Współczesne neurony i funkcje aktywacji (91) Neuron sigmoidalny (92) Neuron tangensowy (94) Neuron ReLU (94) Wybór neuronu (96) Podsumowanie (96) Kluczowe pojęcia (97) 7. Sztuczne sieci neuronowe (99) Warstwa wejściowa (99) Warstwa zagęszczona (99) Zagęszczona sieć wykrywająca hot dogi (101) Propagacja w przód w pierwszej warstwie ukrytej (102) Propagacja w przód w kolejnych warstwach (103) Warstwa softmax w sieci wykrywającej hot dogi (105) Nowe spojrzenie na naszą płytką sieć (107) 8. Trenowanie głębokich sieci (111) Funkcja kosztu (111) Kwadratowa funkcja straty (112) Wysycenie neuronu (112) Entropia skrośna (113) Optymalizacja - uczenie się minimalizowania kosztu (115) Gradient prosty (115) Szybkość uczenia się (117) Wielkość paczki i stochastyczny gradient prosty (119) Ucieczka z lokalnego minimum (121) Propagacja wstecz (123) Dobór liczby warstw ukrytych i liczby neuronów (124) Średniogłęboka sieć w Keras (126) 9. Usprawnianie głębokich sieci (131) Inicjalizacja wag (131) Rozkłady Xaviera Glorota (134) Niestabilne gradienty (137) Zanikające gradienty (137) Eksplodujące gradienty (137) Normalizacja paczki (138) Uogólnianie modelu (zapobieganie nadmiernemu dopasowaniu) (139) Regularyzacja L1 i L2 (141) Dropout (141) Powiększenie danych (144) Pomysłowe optymalizatory (144) Impet (144) Impet Nesterowa (145) AdaGrad (145) AdaDelta i RMSprop (146) Adam (146) Głęboka sieć neuronowa w Keras (147) Regresja (148) TensorBoard (151) III. INTERAKTYWNE ZASTOSOWANIA GŁĘBOKIEGO UCZENIA (155) 10. Widzenie maszynowe (157) Konwolucyjne sieci neuronowe (157) Dwuwymiarowa struktura obrazów (157) Złożoność obliczeniowa (158) Warstwy konwolucyjne (158) Wielokrotne filtry (160) Konwolucyjny przykład (161) Hiperparametry filtru konwolucyjnego (165) Warstwy redukujące (166) Sieć LeNet-5 w Keras (168) Sieci AlexNet i VGGNet w Keras (173) Sieci rezydualne (176) Zanikający gradient - zmora głębokiej sieci konwolucyjnej (176) Połączenia rezydualne (177) Sieć ResNet (178) Zastosowania widzenia maszynowego (180) Wykrywanie obiektów (180) Segmentacja obrazów (183) Uczenie transferowe (185) Sieci kapsułowe (189) 11. Przetwarzanie języka naturalnego (193) Wstępne przetwarzanie danych języka naturalnego (193) Tokenizacja (196) Zamiana wszystkich znaków na małe litery (198) Usunięcie stop-słów i interpunkcji (198) Stemming (199) Przetwarzanie n-gramów (200) Wstępne przetworzenie całego korpusu (202) Osadzanie słów przy użyciu techniki word2vec (205) Teoretyczne podstawy techniki word2vec (206) Ocenianie wektorów słów (208) Stosowanie techniki word2vec (208) Tworzenie wykresów wektorów słów (212) Pole pod krzywą ROC (215) Macierz pomyłek (217) Wyliczanie pola pod krzywą ROC (218) Klasyfikowanie języka naturalnego za pomocą znanych sieci (220) Załadowanie recenzji filmów z bazy IMDb (221) Badanie bazy IMDb (224) Ujednolicenie długości recenzji (227) Sieć zagęszczona (227) Sieci konwolucyjne (234) Sieci przystosowane do danych sekwencyjnych (238) Rekurencyjne sieci neuronowe (238) Jednostka LSTM (242) Dwukierunkowa jednostka LSTM (245) Spiętrzone modele rekurencyjne (246) Techniki sekwencja-sekwencja i atencja (248) Uczenie transferowe w przetwarzaniu języka naturalnego (249) Modele niesekwencyjne: funkcyjny interfejs API biblioteki Keras (249) 12. Sieci GAN (257) Teoretyczne podstawy sieci GAN (257) Zbiór rysunków Quick, Draw! (260) Sieć dyskryminatora (263) Sieć generatora (266) Sieć antagonistyczna (269) Trening sieci GAN (271) 13. Głębokie uczenie przez wzmacnianie (281) Podstawy teoretyczne uczenia przez wzmacnianie (281) Gra Cart-Pole (282) Proces decyzyjny Markowa (284) Optymalna polityka (286) Podstawy teoretyczne sieci głębokiego Q-uczenia (287) Funkcja wartości (288) Funkcja Q-wartości (288) Szacowanie optymalnej Q-wartości (289) Definiowanie agenta sieci DQN (290) Parametry inicjalizacyjne (293) Tworzenie sieci neuronowej agenta (294) Rejestrowanie przebiegu gry (295) Trening poprzez odtwarzanie zapisanych informacji (295) Wybór czynności do wykonania (297) Zapisywanie i ładowanie parametrów modelu (297) Interakcja ze środowiskiem OpenAI Gym (297) Optymalizacja hiperparametrów za pomocą narzędzia SLM Lab (301) Agenci nie tylko DQN (303) Algorytmy gradientu polityki i REINFORCE (304) Algorytm aktor-krytyk (304) IV TY I SZTUCZNA INTELIGENCJA (307) 14. Rozwijanie własnych projektów głębokiego uczenia (309) Pomysły na projekty głębokiego uczenia (309) Widzenie maszynowe i sieci GAN (309) Przetwarzanie języka naturalnego (311) Głębokie uczenie przez wzmacnianie (312) Przekształcanie istniejących projektów uczenia maszynowego (312) Materiały do kolejnych projektów (313) Projekty pożytku publicznego (314) Proces modelowania i strojenie hiperparametrów (314) Automatyzacja strojenia hiperparametrów (316) Biblioteki głębokiego uczenia (317) Keras i TensorFlow (317) PyTorch (319) MXNet, CNTK, Caffe i inne biblioteki (320) Software 2.0 (320) Nadejście ogólnej sztucznej inteligencji (322)