OKREŚLENIE WŁAŚCIWEGO PODEJŚCIA ML 1. Od pomysłu do podejścia ML Modele Dane Zarys edytora ML Spróbujmy wszystko zrobić za pomocą ML Najprostsze podejście: wykonanie algorytmu Etap pośredni: uczenie się na podstawie doświadczenia Jak wybierać projekty ML i określać ich priorytety - Monica Rogati 2. Opracowanie planu Mierzenie postępów Wydajność biznesowa Wydajność modelu Aktualność i przesunięcie rozkładu danych Szybkość Szacowanie zakresu i wyzwań Wykorzystanie doświadczenia w danej dziedzinie Podążanie za wielkimi Planowanie edytora ML Początkowy plan edytora Zawsze należy zaczynać od prostego modelu Sposób na systematyczne postępy - prosty początek Prosty początkowy proces Proces dla edytora ML BUDOWANIE PROCESU 3. Zbudowanie pierwszego całościowego procesu Najprostsza architektura Prototyp edytora ML Analizowanie i oczyszczanie danych Tokenizacja testu Generowanie cech Testowanie procesu Wrażenia użytkowników Modelowanie wyników Ocena prototypu edytora ML Model Wrażenia użytkowników 4. Pozyskiwanie początkowego zbioru danych Iterowanie zbioru danych Badanie danych Badanie pierwszego zbioru danych Bądź skuteczny, zacznij od czegoś małego Informacje i produkty Ocena jakości danych Etykiety i wyszukiwanie trendów Statystyki podsumowujące Efektywne badanie i znakowanie danych Wykonanie algorytmu Trendy danych Niech dane informują o cechach i modelach Budowanie cech na podstawie wzorców Cechy edytora ML Jak wyszukiwać, znakować i wykorzystywać dane - Robert Munro ITEROWANIE MODELI 5. Trening i ocena modelu Najprostszy, odpowiedni model Proste modele Od wzorców do modeli Podział zbioru danych Podział danych dla edytora ML Ocena wydajności Ocena modelu: nie tylko dokładność Porównywanie danych i prognoz Tablica pomyłek Krzywa ROC Krzywa kalibracyjna Redukcja wymiarowości w analizie błędów Metoda top-k Ocena ważności cech Ocena bezpośrednio z klasyfikatora Analiza czarnej skrzynki 6. Diagnozowanie problemów Dobre praktyki programowania Dobre praktyki w ML Diagnozowanie połączeń: wizualizacja i testy Testowanie kodu ML Diagnozowanie treningu Trudność zadania Problemy optymalizacyjne Diagnozowanie uogólnienia modelu Wyciek danych Nadmierne dopasowanie Analiza zadania 7. Przygotowywanie zaleceń przy użyciu klasyfikatora Wyodrębnianie zaleceń z modeli Co można osiągnąć bez modelu? Wyodrębnianie globalnych ważności cech Wykorzystanie ocen modelu Wyodrębnianie lokalnych ważności cech Porównanie modeli Wersja 1: karta raportu Wersja 2: lepszy, ale mniej czytelny model Wersja 3: zrozumiałe zalecenia Formułowanie zaleceń edycyjnych WDRAŻANIE I MONITOROWANIE MODELI 8. Wdrażanie modeli 1 Własność danych Zniekształcenie danych Zniekształcenia systemowe Modele Sprzężenie zwrotne Inkluzyjna wydajność modelu Kontekst Ataki Nadużycia i podwójne zastosowanie Eksperymenty wysyłkowe - Chris Harland Opcje wdrażania modeli Wdrożenie po stronie serwera Aplikacja strumieniowa, czyli interfejs API Prognozowanie wsadowe Wdrożenie po stronie klienta Model w urządzeniu Model w przeglądarce Uczenie federacyjne: podejście hybrydowe 10. Zabezpieczanie modelu Ochrona przed awariami Sprawdzanie danych wejściowych i wyjściowych Scenariusze awaryjne modelu Inżynieria wydajności Obsługa wielu użytkowników Zarządzanie cyklem życia modelu i danych Przetwarzanie danych i skierowany graf acykliczny Opinie użytkowników Wspieranie badaczy danych we wdrażaniu modeli - Chris Moody 11. Monitorowanie i aktualizowanie modeli Monitorowanie oszczędza kłopotów Informowanie o konieczności odświeżenia modelu Wykrywanie nadużyć Wskaźniki wydajności Wskaźniki biznesowe CI/CD w dziedzinie ML Testy A/B i eksperymenty