Wstęp: myślenie w kategoriach analityki danych Wszechobecność możliwości pozyskiwania danych Przykład: huragan Frances Przykład: prognozowanie odpływu klientów Nauka o danych, inżynieria i podejmowanie decyzji na podstawie danych Przetwarzanie danych i Big Data Od Big Data 1.0 do Big Data 2.0 Dane i potencjał nauki o danych jako aktywa strategiczne Myślenie w kategoriach analityki danych Eksploracja danych i nauka o danych, nowe spojrzenie Chemia to nie probówki: nauka o danych kontra praca badacza danych Problemy biznesowe a rozwiązania z zakresu nauki o danych Podstawowe pojęcia: Zbiór kanonicznych zadań związanych z eksploracją danych; Proces eksploracji danych; Nadzorowana i nienadzorowana eksploracja danych. Od problemów biznesowych do zadań eksploracji danych Metody nadzorowane i nienadzorowane Proces eksploracji danych Zrozumienie uwarunkowań biznesowych Zrozumienie danych Przygotowanie danych Modelowanie Ewaluacja Wdrożenie Implikacje w sferze zarządzania zespołem nauki o danych Inne techniki i technologie analityczne Zapytania do baz danych Magazynowanie danych Analiza regresji Uczenie maszynowe i eksploracja danych Odpowiadanie na pytania biznesowe z wykorzystaniem tych technik 3. Wprowadzenie do modelowania predykcyjnego: od korelacji do nadzorowanej segmentacji Podstawowe pojęcia: Identyfikowanie atrybutów informatywnych; Segmentowanie danych za pomocą progresywnej selekcji atrybutów. Przykładowe techniki: Wyszukiwanie korelacji; Wybór atrybutów/zmiennych; Indukcja drzew decyzyjnych. Modele, indukcja i predykcja Nadzorowana segmentacja Wybór atrybutów informatywnych Przykład: wybór atrybutu z wykorzystaniem przyrostu informacji Nadzorowana segmentacja z użyciem modeli o strukturze drzewa Wizualizacja segmentacji Drzewa jako zbiory reguł Szacowanie prawdopodobieństwa Przykład: rozwiązywanie problemu odpływu abonentów z wykorzystaniem indukcji drzewa 4. Dopasowywanie modelu do danych Podstawowe pojęcia: Znajdowanie "optymalnych" parametrów modelu na podstawie danych; Wybieranie celu eksploracji danych; Funkcje celu; Funkcje straty. Przykładowe techniki: Regresja liniowa; Regresja logistyczna; Maszyny wektorów wspierających. Klasyfikacja za pomocą funkcji matematycznych Liniowe funkcje dyskryminacyjne Optymalizacja funkcji celu Przykład wydobywania dyskryminatora liniowego z danych Liniowe funkcje dyskryminacyjne do celów scoringu i szeregowania wystąpień Maszyny wektorów wspierających w skrócie Regresja za pomocą funkcji matematycznych Szacowanie prawdopodobieństwa klas i "regresja" logistyczna * Regresja logistyczna: kilka szczegółów technicznych Przykład: indukcja drzew decyzyjnych a regresja logistyczna Funkcje nieliniowe, maszyny wektorów wspierających i sieci neuronowe Nadmierne dopasowanie i jego unikanie Podstawowe pojęcia: Generalizacja; Dopasowanie i nadmierne dopasowanie; Kontrola złożoności. Przykładowe techniki: Sprawdzian krzyżowy; Wybór atrybutów; Przycinanie drzew; Regularyzacja. Generalizacja Nadmierne dopasowanie ("przeuczenie") Badanie nadmiernego dopasowania Dane wydzielone i wykresy dopasowania Nadmierne dopasowanie w indukcji drzew decyzyjnych Nadmierne dopasowanie w funkcjach matematycznych Przykład: nadmierne dopasowanie funkcji liniowych * Przykład: dlaczego nadmierne dopasowanie jest niekorzystne? Od ewaluacji danych wydzielonych do sprawdzianu krzyżowego Zbiór danych dotyczących odpływu abonentów - nowe spojrzenie Krzywe uczenia się Unikanie nadmiernego dopasowania i kontrola złożoności Unikanie nadmiernego dopasowania w indukcji drzew decyzyjnych Ogólna metoda unikania nadmiernego dopasowania * Unikanie nadmiernego dopasowania w celu optymalizacji parametrów 6. Podobieństwo, sąsiedzi i klastry Podstawowe pojęcia: Obliczanie podobieństwa obiektów opisanych przez dane; Wykorzystywanie podobieństwa do celów predykcji; Klastrowanie jako segmentacja oparta na podobieństwie. Przykładowe techniki: Poszukiwanie podobnych jednostek; Metody najbliższych sąsiadów; Metody klastrowania; Miary odległości do obliczania podobieństwa. Podobieństwo i odległość Wnioskowanie metodą najbliższych sąsiadów Przykład: analityka whisky Najbliżsi sąsiedzi w modelowaniu predykcyjnym Ilu sąsiadów i jak duży wpływ? Interpretacja geometryczna, nadmierne dopasowanie i kontrola złożoności Problemy z metodami najbliższych sąsiadów Kilka istotnych szczegółów technicznych dotyczących podobieństw i sąsiadów Atrybuty heterogeniczne * Inne funkcje odległości * Funkcje łączące: obliczanie wskaźników na podstawie sąsiadów 165 Klastrowanie Przykład: analityka whisky - nowe spojrzenie Klastrowanie hierarchiczne Najbliżsi sąsiedzi na nowo: klastrowanie wokół centroidów Przykład: klastrowanie wiadomości biznesowych Zrozumienie wyników klastrowania * Wykorzystywanie uczenia nadzorowanego do generowania opisów klastrów Krok wstecz: rozwiązywanie problemu biznesowego kontra eksploracja danych 7. Myślenie w kategoriach analityki decyzji I: co to jest dobry model? Podstawowe pojęcia: Staranne rozważenie, czego oczekujemy od wyników nauki o danych; Wartość oczekiwana jako kluczowa platforma ewaluacji; Uwzględnianie odpowiednich porównawczych punktów odniesienia. Przykładowe techniki: Różne miary ewaluacji; Szacowanie kosztów i korzyści; Obliczanie oczekiwanego zysku; Tworzenie metod bazowych dla porównań. Ewaluacja klasyfikatorów Zwykła dokładność i jej problemy Macierz pomyłek Problemy z niezrównoważonymi klasami Problemy nierównych kosztów i korzyści Generalizowanie poza klasyfikacją Kluczowa platforma analityczna: wartość oczekiwana Wykorzystywanie wartości oczekiwanej do systematyzowania zastosowania klasyfikatora Wykorzystywanie wartości oczekiwanej do systematyzowania ewaluacji klasyfikatora Ewaluacja, skuteczność bazowa oraz implikacje dla inwestowania w dane 8. Wizualizacja skuteczności modelu Podstawowe pojęcia: Wizualizacja skuteczności modelu przy różnych rodzajach niepewności; Dalsze rozważania odnośnie tego, czego należy oczekiwać od wyników eksploracji danych. Przykładowe techniki: Krzywe zysku; Krzywe łącznej reakcji; Krzywe przyrostu; Krzywe ROC. Ranking zamiast klasyfikowania Krzywe zysku Wykresy i krzywe ROC Pole pod krzywą ROC (AUC) Krzywe łącznej reakcji i krzywe przyrostu Przykład: analityka skuteczności w modelowaniu odpływu abonentów 9. Dowody i prawdopodobieństwa Podstawowe pojęcia: Jednoznaczne łączenie dowodów za pomocą twierdzenia Bayesa; Wnioskowanie probabilistyczne poprzez założenia warunkowej niezależności. Przykładowe techniki: Klasyfikacja bayesowska; Przyrost wartości dowodu. Przykład: targetowanie klientów reklam internetowych Probabilistyczne łączenie dowodów Prawdopodobieństwo łączne i niezależność Twierdzenie Bayesa Zastosowanie twierdzenia Bayesa w nauce o danych Niezależność warunkowa i naiwny klasyfikator bayesowski Zalety i wady naiwnego klasyfikatora bayesowskiego Model "przyrostu" wartości dowodu Przykład: przyrosty wartości dowodów z "polubień" na Facebooku Dowody w akcji: targetowanie klientów reklamami 10. Reprezentacja i eksploracja tekstu Podstawowe pojęcia: Znaczenie konstruowania przyjaznych eksploracji reprezentacji danych; Reprezentacja tekstu do celów eksploracji danych. Przykładowe techniki: Reprezentacja worka słów (bag of words); Kalkulacja TFIDF; N-gramy; Sprowadzanie do formy podstawowej (stemming); Ekstrakcja wyrażeń nazwowych; Modele tematyczne. Dlaczego tekst jest istotny Dlaczego tekst jest trudny Reprezentacja Worek słów (bag of words) Częstość termów Mierzenie rzadkości (sparseness): odwrotna częstość w dokumentach Łączenie reprezentacji: TFIDF Przykład: muzycy jazzowi * Związek IDF z entropią Oprócz worka słów N-gramy Ekstrakcja wyrażeń nazwowych Modele tematyczne Przykład: eksploracja wiadomości w celu prognozowania zmian cen akcji Myślenie w kategoriach analityki decyzji II: w kierunku inżynierii analitycznej Podstawowe pojęcie: Rozwiązywanie problemów biznesowych z wykorzystaniem nauki o danych rozpoczyna się od inżynierii analitycznej: projektowania rozwiązania analitycznego z wykorzystaniem dostępnych danych, narzędzi i technik. Przykładowa technika: Wartość oczekiwana jako platforma opracowania rozwiązania z zakresu nauki o danych. Targetowanie najlepszych potencjalnych klientów przesyłek organizacji pozyskujących fundusze Platforma wartości oczekiwanej: rozkład problemu biznesowego i ponowne zestawienie elementów rozwiązania Krótka dygresja na temat stronniczości selekcji Nowe, jeszcze bardziej zaawansowane spojrzenie na nasz przykład odpływu abonentów Platforma wartości oczekiwanej: strukturyzacja bardziej skomplikowanego problemu biznesowego Ocena wpływu zachęty Od rozkładu wartości oczekiwanej do rozwiązania z obszaru nauki o danych Inne zadania i techniki nauki o danych Podstawowe pojęcia: Nasze podstawowe pojęcia jako baza wielu typowych technik nauki o danych; Znaczenie wiedzy o elementach składowych nauki o danych. Przykładowe techniki: Zależność i współwystępowanie; Profilowanie zachowań; Predykcja połączeń; Redukcja danych; Eksploracja informacji ukrytych; Rekomendowanie filmów; Rozkład błędu pod względem stronniczości - wariancji; Zespoły modeli; Wnioskowanie przyczynowe z danych. Współwystąpienia i zależności: znajdowanie elementów, które idą w parze Pomiar zaskoczenia: przyrost i dźwignia Przykład: piwo i kupony loteryjne Zależności pomiędzy polubieniami na Facebooku Profilowanie: znajdowanie typowego zachowania Predykcja połączeń i rekomendacje społecznościowe Redukcja danych, informacje ukryte i rekomendacje filmów Stronniczość, wariancja i metody zespalania Oparte na danych wyjaśnianie przyczynowe i przykład marketingu wirusowego . Nauka o danych i strategia biznesowa Podstawowe pojęcia: Nasze zasady jako podstawa sukcesu firmy działającej na podstawie danych; Zdobywanie i utrzymywanie przewagi konkurencyjnej za pomocą nauki o danych; Znaczenie dbałości o potencjał nauki o danych. Myślenie w kategoriach analityki danych, raz jeszcze Osiąganie przewagi konkurencyjnej przy pomocy nauki o danych Utrzymywanie przewagi konkurencyjnej przy pomocy nauki o danych Nadzwyczajna przewaga historyczna Wyjątkowa własność intelektualna Wyjątkowe niematerialne aktywa zabezpieczające Lepsi badacze danych Lepsze zarządzanie zespołem nauki o danych Pozyskiwanie badaczy danych i ich zespołów oraz opieka nad nimi Badanie studiów przypadku z zakresu nauki o danych Gotowość do przyjmowania kreatywnych pomysłów z każdego źródła Gotowość do oceny propozycji projektów z zakresu nauki o danych Przykładowa propozycja eksploracji danych Błędy w propozycji Big Red Dojrzałość firmy w sferze nauki o danych Podstawowe pojęcia nauki o danych Zastosowanie naszych podstawowych pojęć do nowego problemu: eksploracji danych urządzeń przenośnych Zmiana sposobu myślenia o rozwiązaniach problemów biznesowych Czego dane nie mogą dokonać: nowe spojrzenie na decydentów Prywatność, etyka i eksploracja danych dotyczących konkretnych osób Czy jest coś jeszcze w nauce o danych? Ostatni przykład: od crowdsourcingu do cloudsourcingu Kilka słów na zakończenie A. Przewodnik dotyczący oceny propozycji Zrozumienie uwarunkowań biznesowych i zrozumienie danych Przygotowanie danych Modelowanie Ewaluacja i wdrożenie B. Jeszcze jedna przykładowa propozycja Scenariusz i propozycja Wady propozycji GGC