Technologie i poziomy dla danych
W szablonie znajdują się zaawansowany SQL, Python lub Scala, orkiestracja zadań, przetwarzanie rozproszone, hurtownie i jeziora danych, formaty plików kolumnowych oraz testy jakości danych.
Rekrutacja data engineera od potoków danych po hurtownię
Rekrutacja data engineera to wybór specjalisty, który buduje i utrzymuje potoki przenoszące dane między systemami, hurtownie danych i procesy ich czyszczenia. RekrutacjeIt odróżnia osobę, która pisała transformacje na produkcji, od kandydata znającego tylko pojęcia, i podaje dowody z CV.
Jak czytać CV data engineera
Ta rola często myli się z analityką i z data science. Data engineer odpowiada za niezawodne dostarczanie danych, więc w CV szukaj opisów jakości, harmonogramów, powtarzalności i obsługi błędnych danych. Samo użycie notatnika analitycznego to inny profil.
System rozdziela wymagania na język i SQL, narzędzia przetwarzania wsadowego i strumieniowego, orkiestrację, modelowanie hurtowni oraz jakość danych. Każdy obszar dostaje ocenę z cytatem, a luki zamieniają się w pytania.
Sygnały do sprawdzenia na rozmowie
Dokument pokazuje tylko część obrazu, więc system podpowiada, gdzie sprawdzić resztę.
- opis tego, co dzieje się z potokiem po awarii źródła
- znajomość wydajności zapytań na dużych tabelach
- praca z danymi osobowymi i zasadami ich ochrony
- doświadczenie z przetwarzaniem przyrostowym
- rozumienie, dla kogo dane są przygotowywane
Poziom Junior
Pisze zapytania z łączeniami i agregacjami, składa proste transformacje i uczy się pracy z harmonogramami.
Poziom Mid
Projektuje potoki odporne na błędy, modeluje tabele pod raportowanie i dba o testy jakości.
Poziom Senior
Decyduje o architekturze platformy danych, kosztach przetwarzania, kontraktach danych i standardach dla zespołów dostarczających dane.
Kryteria oceny z szablonu
Szablon nie opisuje żadnej osoby, tylko stanowisko, więc kryteria są takie same dla każdego kandydata.
- biegłość w SQL ponad poziom podstawowy
- podejście do jakości i walidacji danych
- zrozumienie różnic między przetwarzaniem wsadowym i strumieniowym
- umiejętność modelowania danych pod potrzeby analityków
Pytania na rozmowę z szablonu
Pytania w szablonie sprawdzają rozumowanie, a nie pamięć definicji. Kilka pytań dla tej roli.
- Jak zbudujesz potok, który da się bezpiecznie uruchomić ponownie po awarii.
- Jak wykryjesz, że źródło danych zmieniło format.
- Jak zaprojektujesz tabelę faktów dla zamówień.
- Co zrobisz, gdy zapytanie na dużej tabeli trwa za długo.
Zadanie techniczne dla tej roli
Zadanie to zwykle transformacja dostarczonego pliku do postaci tabelarycznej wraz z testami jakości i opisem założeń, czasem z zapytaniami SQL na wskazanym zbiorze. Ocena sprawdza poprawność, odporność na błędne wiersze i czytelność rozwiązania.
Więcej o zadaniach i ocenie rozwiązań znajdziesz na stronie zadania techniczne, a o czytaniu dokumentów na stronie ocena CV programisty.
Fakty o rekrutacji data engineera
| Element | Szczegół |
|---|---|
| Rola | data engineer |
| Typowy stack | SQL, Python, orkiestracja, hurtownia danych |
| Różnica względem analityka | odpowiada za dostarczanie danych, nie za raporty |
| Zadanie | transformacja pliku z testami jakości |
| Poziomy | Junior, Mid, Senior |
Rekrutacja tej roli w miastach i w pozostałych stanowiskach
Jeśli szukasz osoby na miejscu albo w trybie hybrydowym, zobacz rekrutacja IT Wrocław oraz rekrutacja IT Łódź. Pozostałe role znajdziesz na stronie rekrutacja programistów, a koszty prowadzenia rekrutacji opisuje cennik.
Pytania i odpowiedzi
Czym data engineer różni się od analityka danych?
Data engineer buduje i utrzymuje potoki oraz hurtownie, a analityk korzysta z przygotowanych danych do raportów. Szablon kładzie nacisk na niezawodność i jakość, nie na wizualizacje.
Jak ocenić SQL w CV?
Same słowo SQL nic nie znaczy. System szuka zdań o złożonych zapytaniach, optymalizacji i modelowaniu, a luki zamienia w pytania na rozmowę.
Czy zadanie wymaga prawdziwych danych?
Nie. Zadanie opiera się na zbiorze dostarczonym w treści zadania, bez danych osobowych.
Czy ocena zadania ma uzasadnienie?
Tak, każde kryterium dostaje opis i wskazanie fragmentu rozwiązania, a wynik trafia do kandydata w rankingu razem z oceną CV.
Oceń pierwsze CV na stanowisko data engineera
Załóż konto, wybierz szablon i zobacz ocenę z cytatami z dokumentu.