Fenomen uczenia maszynowego Uczenie maszynowe w Twoich projektach Cel i sposób jego osiągnięcia Wymogi wstępne Zawartość książki Dodatkowe zasoby Konwencje stosowane w książce Korzystanie z kodu źródłowego Część I Podstawy uczenia maszynowego Rozdział 1. Krajobraz uczenia maszynowego Czym jest uczenie maszynowe? Dlaczego warto korzystać z uczenia maszynowego? Rodzaje systemów uczenia maszynowego Uczenie nadzorowane/nienadzorowane Uczenie nadzorowane Uczenie nienadzorowane Uczenie półnadzorowane Uczenie przez wzmacnianie Uczenie wsadowe/przyrostowe Uczenie wsadowe Uczenie przyrostowe Uczenie z przykładów/z modelu Uczenie z przykładów Uczenie z modelu Główne problemy uczenia maszynowego Niedobór danych uczących Niereprezentatywne dane uczące Dane kiepskiej jakości Nieistotne cechy Przetrenowanie danych uczących Niedotrenowanie danych uczących Rozdział 2. Nasz pierwszy projekt uczenia maszynowego Praca z rzeczywistymi danymi Przeanalizuj całokształt projektu Określ zakres problemu Wybierz metrykę wydajności Sprawdź założenia Zdobądź dane Stwórz przestrzeń roboczą Pobierz dane Rzut oka na strukturę danych Stwórz zbiór testowy Odkrywaj i wizualizuj dane, aby zdobywać nowe informacje Wizualizowanie danych geograficznych Poszukiwanie korelacji Eksperymentowanie z kombinacjami atrybutów Przygotuj dane pod algorytmy uczenia maszynowego Oczyszczanie danych Obsługa tekstu i atrybutów kategorialnych Niestandardowe transformatory Skalowanie cech Potoki transformujące Wybór i uczenie modelu Trenowanie i ocena modelu za pomocą zbioru uczącego Dokładniejsze ocenianie za pomocą sprawdzianu krzyżowego Wyreguluj swój model Metoda przeszukiwania siatki Metoda losowego przeszukiwania Metody zespołowe Analizuj najlepsze modele i ich błędy Oceń system za pomocą zbioru testowego Uruchom, monitoruj i utrzymuj swój system Teraz Twoja kolej! Rozdział 3. Klasyfikacja Zbiór danych MNIST Uczenie klasyfikatora binarnego Miary wydajności Pomiar dokładności za pomocą sprawdzianu krzyżowego Macierz pomyłek Precyzja i pełność Kompromis pomiędzy precyzją a pełnością Wykres krzywej ROC Klasyfikacja wieloklasowa Analiza błędów Klasyfikacja wieloetykietowa Klasyfikacja wielowyjściowa Rozdział 4. Uczenie modeli Regresja liniowa Równanie normalne Złożoność obliczeniowa Gradient prosty Wsadowy gradient prosty Stochastyczny spadek wzdłuż gradientu Schodzenie po gradiencie z minigrupami Regresja wielomianowa Krzywe uczenia Regularyzowane modele liniowe Regresja grzbietowa Regresja metodą LASSO Metoda elastycznej siatki Wczesne zatrzymywanie Regresja logistyczna Szacowanie prawdopodobieństwa Funkcje ucząca i kosztu Granice decyzyjne Regresja softmax Rozdział 5. Maszyny wektorów nośnych Liniowa klasyfikacja SVM Klasyfikacja miękkiego marginesu Nieliniowa klasyfikacja SVM Jądro wielomianowe Dodawanie cech podobieństwa Gaussowskie jądro RBF Złożoność obliczeniowa Regresja SVM Mechanizm działania Funkcja decyzyjna i prognozy Cel uczenia Programowanie kwadratowe Problem dualny Kernelizowane maszyny SVM Przyrostowe maszyny SVM Rozdział 6. Drzewa decyzyjne Uczenie i wizualizowanie drzewa decyzyjnego Wyliczanie prognoz Szacowanie prawdopodobieństw przynależności do klas Algorytm uczący CART Złożoność obliczeniowa Wskaźnik Giniego czy entropia? Hiperparametry regularyzacyjne Regresja Niestabilność Rozdział 7. Uczenie zespołowe i losowe lasy Klasyfikatory głosujące Agregacja i wklejanie Agregacja i wklejanie w module Scikit-Learn Ocena OOB Rejony losowe i podprzestrzenie losowe Losowe lasy Zespół Extra-Trees Istotność cech Wzmacnianie AdaBoost Wzmacnianie gradientowe Kontaminacja Rozdział 8. Redukcja wymiarowości Klątwa wymiarowości Główne strategie redukcji wymiarowości Rzutowanie Uczenie rozmaitościowe Analiza PCA Zachowanie wariancji Główne składowe Rzutowanie na d wymiarów Implementacja w module Scikit-Learn Współczynnik wariancji wyjaśnionej Wybór właściwej liczby wymiarów Algorytm PCA w zastosowaniach kompresji Przyrostowa analiza PCA Losowa analiza PCA Jądrowa analiza PCA Wybór jądra i strojenie hiperparametrów Algorytm LLE Inne techniki redukowania wymiarowości Część II Sieci neuronowe i uczenie głębokie Rozdział 9. Instalacja i używanie modułu TensorFlow Instalacja Tworzenie pierwszego grafu i uruchamianie go w sesji Zarządzanie grafami Cykl życia wartości w węźle Regresja liniowa przy użyciu modułu TensorFlow Implementacja metody gradientu prostego Ręczne obliczanie gradientów Automatyczne różniczkowanie Korzystanie z optymalizatora Dostarczanie danych algorytmowi uczącemu Zapisywanie i wczytywanie modeli Wizualizowanie grafu i krzywych uczenia za pomocą modułu TensorBoard Zakresy nazw Modułowość Udostępnianie zmiennych Rozdział 10. Wprowadzenie do sztucznych sieci neuronowych Od biologicznych do sztucznych neuronów Neurony biologiczne Operacje logiczne przy użyciu neuronów Perceptron Perceptron wielowarstwowy i propagacja wsteczna Uczenie sieci MLP za pomocą zaawansowanego interfejsu API modułu TensorFlow Uczenie głębokiej sieci neuronowej za pomocą standardowego interfejsu TensorFlow Faza konstrukcyjna Faza wykonawcza Korzystanie z sieci neuronowej Strojenie hiperparametrów sieci neuronowej Liczba ukrytych warstw Liczba neuronów tworzących warstwę ukrytą Funkcje aktywacji Rozdział 11. Uczenie głębokich sieci neuronowych Problemy zanikających/eksplodujących gradientów Inicjacje wag Xaviera i He Nienasycające funkcje aktywacji Normalizacja wsadowa Implementacja normalizacji wsadowej za pomocą modułu TensorFlow Obcinanie gradientu Wielokrotne stosowanie gotowych warstw Wielokrotne stosowanie modelu TensorFlow Wykorzystywanie modeli utworzonych w innych środowiskach Zamrażanie niższych warstw Zapamiętywanie warstw ukrytych Modyfikowanie, usuwanie lub zastępowanie górnych warstw Repozytoria modeli Nienadzorowane uczenie wstępne Uczenie wstępne za pomocą dodatkowego zadania Szybsze optymalizatory Optymalizacja momentum Przyśpieszony spadek wzdłuż gradientu (algorytm Nesterova) AdaGrad RMSProp Optymalizacja Adam Harmonogramowanie współczynnika uczenia Regularyzacja jako sposób unikania przetrenowania Wczesne zatrzymywanie Regularyzacja 1 i 2 Porzucanie Regularyzacja typu max-norm Dogenerowanie danych Praktyczne wskazówki Rozdział 12. Rozdzielanie operacji TensorFlow pomiędzy urządzenia i serwery Wiele urządzeń na jednym komputerze Instalacja Zarządzanie pamięcią operacyjną karty graficznej Umieszczanie operacji na urządzeniach Proste rozmieszczanie Zapisywanie zdarzeń rozmieszczania Funkcja dynamicznego rozmieszczania Operacje i jądra Miękkie rozmieszczanie Przetwarzanie równoległe Zależności sterujące Wiele urządzeń na wielu serwerach Otwieranie sesji Usługi nadrzędna i robocza Przypinanie operacji w wielu zadaniach Rozdzielanie zmiennych pomiędzy wiele serwerów parametrów Udostępnianie stanu rozproszonych sesji za pomocą kontenerów zasobów Komunikacja asynchroniczna za pomocą kolejek Umieszczanie danych w kolejce Usuwanie danych z kolejki Kolejki krotek Zamykanie kolejki RandomShuffleQueue PaddingFIFOQueue Wczytywanie danych bezpośrednio z grafu Wstępne wczytanie danych do zmiennej Wczytywanie danych uczących bezpośrednio z grafu Czytniki wieloklasowe wykorzystujące klasy Coordinator i QueueRunner Inne funkcje pomocnicze Przetwarzanie równoległe sieci neuronowych w klastrze TensorFlow Jedna sieć neuronowa na każde urządzenie Replikacja wewnątrzgrafowa i międzygrafowa Zrównoleglanie modelu Zrównoleglanie danych Aktualizacje synchroniczne Aktualizacje asynchroniczne Nasycenie przepustowości Implementacja w module TensorFlow Rozdział 13. Splotowe sieci neuronowe Architektura kory wzrokowej Warstwa splotowa Filtry Stosy map cech Implementacja w module TensorFlow Zużycie pamięci operacyjnej Warstwa łącząca Architektury splotowych sieci neuronowych LeNet-5 AlexNet GoogLeNet ResNet Rozdział 14. Rekurencyjne sieci neuronowe Neurony rekurencyjne Komórki pamięci Sekwencje wejść i wyjść Podstawowe sieci RSN w module TensorFlow Statyczne rozwijanie w czasie Dynamiczne rozwijanie w czasie Obsługa sekwencji wejściowych o zmiennej długości Obsługa sekwencji wyjściowych o zmiennej długości Uczenie rekurencyjnych sieci neuronowych Uczenie klasyfikatora sekwencji Uczenie w celu przewidywania szeregów czasowych Twórcza sieć rekurencyjna Głębokie sieci rekurencyjne Rozmieszczanie głębokiej sieci rekurencyjnej pomiędzy wiele kart graficznych Wprowadzanie metody porzucania Problem uczenia w sieciach wielotaktowych Komórka LSTM Połączenia przezierne Komórka GRU Przetwarzanie języka naturalnego Reprezentacje wektorowe słów Sieć typu koder-dekoder służąca do tłumaczenia maszynowego Rozdział 15. Autokodery Efektywne reprezentacje danych Analiza PCA za pomocą niedopełnionego autokodera liniowego Autokodery stosowe Implementacja w module TensorFlow Wiązanie wag Uczenie autokoderów pojedynczo Wizualizacja rekonstrukcji Wizualizowanie cech Nienadzorowane uczenie wstępne za pomocą autokoderów stosowych Autokodery odszumiające Implementacja w module TensorFlow Autokodery rzadkie Implementacja w module TensorFlow Autokodery wariacyjne Generowanie cyfr Inne autokodery Rozdział 16. Uczenie przez wzmacnianie Uczenie się optymalizowania nagród Wyszukiwanie polityki Wprowadzenie do narzędzia OpenAI gym Sieci neuronowe jako polityki Ocenianie czynności problem przypisania zasługi Gradienty polityk Procesy decyzyjne Markowa Uczenie metodą różnic czasowych i algorytm Q-uczenia Polityki poszukiwania Przybliżający algorytm Q-uczenia Nauka gry w Ms. Pac-Man za pomocą głębokiego Q-uczenia Rozdział 1. Krajobraz uczenia maszynowego Rozdział 2. Nasz pierwszy projekt uczenia maszynowego Rozdział 3. Klasyfikacja Rozdział 4. Uczenie modeli Rozdział 5. Maszyny wektorów nośnych Rozdział 6. Drzewa decyzyjne Rozdział 7. Uczenie zespołowe i losowe lasy Rozdział 8. Redukcja wymiarowości Rozdział 9. Instalacja i używanie modułu TensorFlow Rozdział 10. Wprowadzenie do sztucznych sieci neuronowych Rozdział 11. Uczenie głębokich sieci neuronowych Rozdział 12. Rozdzielanie operacji TensorFlow pomiędzy urządzenia i serwery Rozdział 13. Splotowe sieci neuronowe Rozdział 14. Rekurencyjne sieci neuronowe Rozdział 15. Autokodery Rozdział 16. Uczenie przez wzmacnianie Dodatek B Lista kontrolna projektu uczenia maszynowego Określenie problemu i przeanalizowanie go w szerszej perspektywie Pozyskanie danych Analiza danych Przygotowanie danych Stworzenie krótkiej listy obiecujących modeli Dostrojenie modelu Zaprezentowanie rozwiązania Dodatek C Problem dualny w maszynach wektorów nośnych Dodatek D Różniczkowanie automatyczne Różniczkowanie ręczne Różniczkowanie symboliczne Różniczkowanie numeryczne Różniczkowanie automatyczne Odwrotne różniczkowanie automatyczne Dodatek E Inne popularne architektury sieci neuronowych Sieci Hopfielda Maszyny Boltzmanna Ograniczone maszyny Boltzmanna Głębokie sieci przekonań Mapy samoorganizujące