Asymetryczna optymalizacja Niech kupujący się strzeże Nurty cyklu życia inżynierii danych i ich wpływ na wybór technologii Zarządzanie danymi DataOps Architektura danych Przykład orkiestracji — Airflow Inżynieria oprogramowania. Cykl życia inżynierii danych w szczegółach 5. Generowanie danych w systemach źródłowych Źródła danych — jak tworzone są dane? Systemy źródłowe Pliki i dane bez struktury Interfejsy API Bazy danych aplikacji (systemy OLTP) Systemy przetwarzania analitycznego online (OLAP) Przechwytywanie zdarzeń zmiany danych Logi Logi bazy danych CRUD Komunikaty i strumienie Rodzaje czasu Praktyczne szczegóły dotyczące systemów źródłowych Bazy danych Interfejsy API Współdzielenie danych Zewnętrzne źródła danych Kolejki komunikatów i platformy strumieniowego przesyłania zdarzeń Nurty inżynierii danych i ich wpływ na systemy źródłowe Bezpieczeństwo Zarządzanie danymi DataOps Architektura danych Orkiestracja Inżynieria oprogramowania Składowanie Dyski magnetyczne Dyski SSD Pamięć operacyjna Infrastruktura sieci i procesor Serializacja Kompresja Buforowanie Systemy składowania danych Składowanie na pojedynczym serwerze a składowanie rozproszone Spójność ostateczna kontra spójność silna Składowanie w plikach Blokowe systemy składowania Magazyn obiektów Systemy składowania oparte na pamięci podręcznej i pamięci operacyjnej Rozproszony system plików Hadoop Składowanie strumieniowe Indeksy, partycjonowanie i klastrowanie Abstrakcje składowania w inżynierii danych Hurtownia danych Jeziora danych Data lakehouse Platformy danych Architektura pamięci masowej stream-to-batch Wielkie pomysły i trendy dotyczące składowania Katalog danych Współdzielenie danych Schemat Oddzielenie przetwarzania od składowania Cykl życia systemów składowania i utrzymywanie danych Magazyny dla jednego i wielu dzierżawców Główne nurty Bezpieczeństwo Zarządzanie danymi DataOps Architektura danych Orkiestracja Inżynieria oprogramowania Zasoby dodatkowe Pozyskiwanie danych Dane związane kontra dane niezwiązane Częstość Pozyskiwanie synchroniczne a asynchroniczne Serializacja i deserializacja Przepustowość i skalowalność Niezawodność i trwałość Ładunek danych Wzorce pozyskiwania pull, push czy odpytywanie? Zagadnienia dotyczące pozyskiwania danych partiami Ekstrakcja migawkowa lub różnicowa Eksportowanie i pozyskiwanie oparte na plikach Systemy ETL kontra ELT Wstawianie, aktualizacje i rozmiar partii Migracje danych Zagadnienia dotyczące pozyskiwania komunikatów i pozyskiwania strumieniowego Ewolucje schematu Spóźnione dane Kolejność zdarzeń i wielokrotne dostarczanie Ponowne odtwarzanie Czas życia Rozmiar wiadomości Obsługa błędów i kolejki utraconych wiadomości Konsumenci typu pull kontra konsumenci typu push Lokalizacja Sposoby pozyskiwania danych Bezpośrednie połączenie z bazą danych Przechwytywanie zdarzeń zmian danych Interfejsy API Kolejki komunikatów i platformy strumieniowego przesyłania zdarzeń Zarządzane łączniki danych Przenoszenie danych za pomocą obiektowego magazynu danych EDI Bazy danych i eksportowanie plików Problemy z popularnymi formatami plików Powłoka SSH

SFTP i SCP Webhooki Interfejs webowy Web scraping Urządzenia do przesyłania danych wykorzystywane do migracji Współdzielenie danych Z kim będziesz pracować? Interesariusze w górnej części strumienia przetwarzania Interesariusze z dolnej części strumienia przetwarzania Główne nurty Bezpieczeństwo Zarządzanie danymi DataOps Orkiestracja Inżynieria oprogramowania Zapytania, modelowanie i przekształcenia Zapytania do danych przekazywanych strumieniowo Modelowanie danych Co to jest model danych? Pojęciowe, logiczne i fizyczne modele danych Normalizacja Techniki modelowania danych analitycznych pozyskiwanych partiami Modelowanie danych pozyskiwanych strumieniowo Przekształcenia Przekształcenia wsadowe Widoki zmaterializowane, federacja i wirtualizacja zapytań Przekształcanie i przetwarzanie danych przekazywanych strumieniowo Interesariusze w górnej części strumienia przetwarzania Interesariusze z dolnej części strumienia przetwarzania Główne nurty Bezpieczeństwo Zarządzanie danymi DataOps Architektura danych Orkiestracja Inżynieria oprogramowania. Serwowanie danych na potrzeby analizy, uczenia maszynowego i odwróconych procesów ETL Ogólne uwagi dotyczące serwowania danych Zaufanie Jaki jest przypadek użycia i kto jest użytkownikiem? Produkty danych Produkt samoobsługowy czy nie? Definicje danych i logika Siatki danych Analityka Analityka biznesowa Analityka operacyjna Analityka wbudowana Uczenie maszynowe Co inżynier danych powinien wiedzieć o ML? Sposoby serwowania danych na potrzeby analityki i uczenia maszynowego Wymiana za pomocą plików Bazy danych Systemy strumieniowe Zapytania federacyjne Współdzielenie danych Warstwy semantyki i metryk Serwowanie danych w notatnikach Odwrócony ETL Główne nurty Bezpieczeństwo Zarządzanie danymi DataOps Architektura danych Orkiestracja Inżynieria oprogramowania Bezpieczeństwo, prywatność i przyszłość inżynierii danych 10. Bezpieczeństwo i prywatność Ludzie Moc negatywnego myślenia Zawsze bądź paranoikiem Procesy Teatr bezpieczeństwa kontra nawyki bezpieczeństwa Aktywne zabezpieczenia Zasada najmniejszych uprawnień Wspólna odpowiedzialność w chmurze Zawsze twórz kopie zapasowe danych Przykładowa polityka bezpieczeństwa Technologia Wdrażanie poprawek i aktualizacji Szyfrowanie Logowanie, monitorowanie i ostrzeganie Dostęp do sieci Bezpieczeństwo niskopoziomowej inżynierii danych. Przyszłość inżynierii danych Cykl życia inżynierii danych nie zniknie Zmniejszenie złożoności i rozwój łatwych w użyciu narzędzi danych System operacyjny danych w skali chmury i lepsza interoperacyjność Korporacyjna inżynieria danych Tytuły zawodowe i zakresy obowiązków będą się zmienia Ewolucja nowoczesnego stosu danych w kierunku stosu danych na żywo Stos danych na żywo Potoki strumieniowe i analityczne bazy danych czasu rzeczywistego Fuzja danych z aplikacjami Ścisłe sprzężenie zwrotne między aplikacjami a uczeniem maszynowym Dane ciemnej materii i rozwój… arkuszy kalkulacyjnych?! A Serializacja i kompresja. B Sieć w chmurze