Data Engineer
Projektuj przepływy danych i dbaj o ich jakość między systemami.
Kompendium zawodu — pojęcia i zwroty
Pojęcia w pracy
- Potok danych
- Kolejność pobrania, sprawdzenia i przekształcenia danych.
- Kontrakt schematu
- Uzgodnione pola, typy i reguły między dostawcą a odbiorcą danych.
- Idempotencja
- Własność procesu, dzięki której ponowienie nie dubluje skutku tej samej operacji.
Zwroty w typowych sytuacjach
- „Plik dotarł, ale dane są starsze od oczekiwanego zakresu.”
- Rozróżniasz dostępność pliku od świeżości informacji.
- „Przed ponowieniem sprawdzę klucz partii i stan poprzedniego zapisu.”
- Ograniczasz ryzyko powielenia danych.
Podstawy · Lekcja 1 z 6
Źródło, warstwa surowa i odbiorca
Potok danych przenosi dane przez etapy o różnych odpowiedzialnościach. Warstwa surowa zachowuje materiał do odtworzenia, a warstwa docelowa odpowiada umowie z odbiorcą danych.
- Co zrobić najpierwŹródło
- Co zrobić dalejWarstwa surowa
- Jak zakończyćWidok dla odbiorcy
Przykład z pracy
Wczytujesz plik zamówień i zachowujesz oryginał z datą. Widok analityczny udostępnia ujednolicone statusy i jawny okres dostępnych danych.
Ćwiczenie praktyczne
Narysuj potok z pliku zamówień do raportu. Podpisz właściciela i warunek kompletności dla każdego etapu.
Sprawdź się — opcjonalne pytanie
Która warstwa pomaga odtworzyć transformację po błędzie?
- Wyłącznie końcowy wykres
- Warstwa surowa z identyfikatorem źródła i datą
- Plik bez informacji o źródle
Pokaż odpowiedź i wyjaśnienie
Warstwa surowa z identyfikatorem źródła i datą. Zachowane wejście pozwala ponownie wykonać przetwarzanie i porównać wynik.
Podstawy · Lekcja 2 z 6
Kontrakt schematu i klucz
Zapisz typy, pola wymagane, klucz oraz regułę obsługi niepoprawnego wiersza. Unikalność i obowiązkowe wartości możesz weryfikować w bazie ograniczeniami.
- Co zrobić najpierwWejście
- Co zrobić dalejWalidacja schematu
- Jak zakończyćDane poprawne i błędy
Przykład z pracy
Import zamówień wymaga unikalnego identyfikatora, czasu i kwoty. Pusty identyfikator trafia do raportu błędów, dzięki któremu dostawca może poprawić rekord.
Ćwiczenie praktyczne
Dla sześciu wierszy przygotuj trzy reguły i opisz los każdego naruszenia.
Symulacja rozmowy
Co zrobisz, gdy ponowienie potoku może podwoić rekordy?
Porównaj z przykładową odpowiedzią
Użyję stabilnego klucza i jawnej reguły aktualizacji. Przetestuję awarię po częściowym zapisie, a po ponowieniu porównam liczbę rekordów i unikalnych kluczy.
Sprawdź się — opcjonalne pytanie
Który warunek odróżnia duplikat zamówienia?
- Identyczna kwota u dwóch klientów
- Ta sama data sprzedaży
- Powtórzenie unikalnego klucza zamówienia
Pokaż odpowiedź i wyjaśnienie
Powtórzenie unikalnego klucza zamówienia. Unikalny klucz identyfikuje zamówienie, a wartości biznesowe mogą się powtarzać.
Praca krok po kroku · Lekcja 3 z 6
Wczytanie przyrostowe i spóźnione dane
Przetwarzanie przyrostowe pobiera nowe lub zmienione rekordy. Rozróżnij czas zdarzenia i czas jego otrzymania. Ustal, jak odtworzysz dane za okres, do którego dotarło spóźnione zdarzenie.
- Co zrobić najpierwCzas zdarzenia
- Co zrobić dalejOkno odświeżenia
- Jak zakończyćKorekta danych
Przykład z pracy
Zamówienie z wtorku trafia do potoku w czwartek. Raport wtorkowy wymaga ponownego przeliczenia zgodnie z ustalonym oknem korekt.
Ćwiczenie praktyczne
Rozpisz harmonogram dla trzech plików i zaznacz, które raporty aktualizujesz po spóźnionym pliku.
Sprawdź się — opcjonalne pytanie
Który czas służy do przypisania zamówienia do dnia sprzedaży?
- Czas zdarzenia zgodny z definicją raportu
- Wyłącznie czas wczytania do hurtowni
- Czas wygenerowania wykresu
Pokaż odpowiedź i wyjaśnienie
Czas zdarzenia zgodny z definicją raportu. Czas otrzymania może być późniejszy niż dzień, w którym nastąpiło zdarzenie.
Praca krok po kroku · Lekcja 4 z 6
Testy danych przed publikacją
Sprawdzaj kompletność, unikalność i porównywalność wyniku. Określ progi blokujące publikację oraz te wymagające tylko ostrzeżenia. Zapisz odchylenia z kontekstem.
- Co zrobić najpierwTransformacja
- Co zrobić dalejKontrole
- Jak zakończyćPublikacja albo wyjaśnienie
Przykład z pracy
Potok odrzuca duplikat klucza, a zmianę wolumenu o 20% oznacza do oceny z uwzględnieniem świąt i kampanii.
Ćwiczenie praktyczne
Dobierz trzy kontrole dla dziennej sprzedaży i wskaż jedną blokującą publikację.
Sprawdź się — opcjonalne pytanie
Który test bezpośrednio chroni przed podwojeniem zamówień?
- Porównanie nazw wykresów
- Kontrola unikalności klucza zamówienia
- Sprawdzenie koloru eksportu
Pokaż odpowiedź i wyjaśnienie
Kontrola unikalności klucza zamówienia. Test unikalności wykrywa powtórzenie przed przekazaniem danych odbiorcy.
Trudniejsze sytuacje · Lekcja 5 z 6
Idempotencja i odtworzenie partii
Wielokrotne przetworzenie tej samej partii powinno dać jeden poprawny stan. Użyj stabilnych kluczy i jawnej reguły aktualizacji. Sprawdź efekt awarii po częściowym zapisie.
- Co zrobić najpierwPartia
- Co zrobić dalejZapis po stabilnych kluczach
- Jak zakończyćBezpieczne ponowienie
Przykład z pracy
Wczytanie partii 2026-11-12 przerywa się po 80% rekordów. Ponowienie uzupełnia brakujące i nie dodaje drugi raz już zapisanych zamówień.
Ćwiczenie praktyczne
Zaprojektuj test awarii po częściowym zapisie i opisz oczekiwany stan po ponowieniu.
Sprawdź się — opcjonalne pytanie
Co jest sygnałem poprawnej idempotencji?
- Każde uruchomienie dopisuje nową kopię danych
- Ponowienie kasuje całą historię
- Dwa uruchomienia z tą samą partią dają ten sam poprawny stan
Pokaż odpowiedź i wyjaśnienie
Dwa uruchomienia z tą samą partią dają ten sam poprawny stan. Powtarzanie tej samej operacji nie powinno zmieniać jej skutku.
Trudniejsze sytuacje · Lekcja 6 z 6
Obserwowalność i plan incydentu
Monitoruj świeżość, wolumen i jakość. Dla istotnych odchyleń przygotuj procedurę z właścicielem, sposobem powiadomienia i warunkiem wznowienia publikacji.
- Co zrobić najpierwSygnał
- Co zrobić dalejDiagnostyka
- Jak zakończyćWznowienie i powiadomienie
Przykład z pracy
Raport ma dane sprzed dwóch dni, choć potok wyświetla status „zakończony”. Porównanie ostatniego czasu zdarzenia z oczekiwanym zakresem wykrywa problem.
Ćwiczenie praktyczne
Przygotuj instrukcję reakcji na opóźniony plik i komunikat dla odbiorcy.
Sprawdź się — opcjonalne pytanie
Jaka kontrola wykrywa stary raport mimo zakończonego procesu?
- Sprawdzenie świeżości ostatniego opublikowanego zdarzenia
- Liczba zielonych ikon w aplikacji
- Wyłącznie czas działania zadania
Pokaż odpowiedź i wyjaśnienie
Sprawdzenie świeżości ostatniego opublikowanego zdarzenia. Pomyślne wykonanie procesu nie potwierdza aktualności wejścia ani wyniku.