DataInsiders.Space

#zerobuzzwords

Helping discover POWER OF DATA, as today, it’s all about data and its value!

MailChimp

Helping discover POWER OF DATA, as today, it’s all about data and its value!

MailChimp

#top #zerobuzzwords

5 faktów o pracy inżyniera danych oraz jak nim zostać…

Inżynier danych to jedna z najgorętszych ról w ostatnim czasie. Według Forbsa to właśnie ta rola już od ponad niemal 3 lat znajduje się wśród jednej z najszybciej rosnących w liczebność ról m.in. na LinkedIn. Inżynier danych znajduj się również w wielu powszechnie publikowanych zestawienia typu “TOP JOBS 2020”. W swoich wcześniejszych wpisach wskazywałem też, że jest to jedna z ciekawszych obecnie ról świata danych. Należy pamiętać, że rola inżyniera danych, w przeciwieństwie do również dość popularnej roli Data Scientist jest rolą o wiele bardziej techniczną. Podczas gdy Data Scientist skupia się mocna na aspektach matematycznych, inżynier danych odpowiada za budowę przepływów danych, automatyzację czy transformację danych (Chociaż patrząc na wielu Data Scientist-ów odnoszę bardzo często wrażenie, że to właśnie w ich zadaniach zawarto w wielu miejscach 50-80% zadań inżyniera danych….ale to temat na zupełnie inne rozważania).

Jakie zatem umiejętności powinien posiadać “modelowy” inżynier danych:

  1. Umiejętność programowania się przydaje – obecnie niemal wszystko to kod. Niezależnie czy budujemy przepływ danych czy infrastrukturę obliczeniową działamy w modelu …. as a code (Infrastructure as a code, Data Flow as a code, itd). Właśnie dlatego zacięcie i wcześniejsze umiejętności programowania pomogą na ścieżce inżyniera danych. Warto do umiejętności programowania dodać jeszcze zacięcie do analizy wzorców danych, ich eksplorację i pracę ze złożonymi typami danych. Oczywiście wszystkie te działania bardzo często wymagają sporych umiejętności automatyzacji i zarządzania kodem, co dość szybko wskazuje, że oprócz wcześniejszych doświadczeń programistycznych wiedza popularnego DBA(czyli administratora baz danych) jest również bardzo przydatna (swoją drogą w wielu miejscach można zaryzykować stwierdzenie, że inżynier danych = doświadczony DBA z zacięciem programistycznym)

  2. Technologia, technologia, technologia – nie bez przyczyny wspomniałem, że rola inżyniera to rola bardzo techniczna, można powiedzieć, że wiele osób pracujących na takich stanowiskach to chodząca skarbnica wiedzy technologicznej. Od znajomości poczciwych baz relacyjnych, przez platformy NoSQL, aż po bazy grafowe czy repozytoria plikowe. Co tu dużo mówić przeciętny inżynier danych orientuje się w co najmniej 10-15 różnych technologiach i potrafi je optymalnie wykorzystać w swojej pracy.

  3. Doświadczenie ważniejsze niż edukacja? Dla wielu osób może to być zaskoczeniem, ale zdecydowanie przy tej roli właśnie tak jest. O ile wspomniany wcześniej Data Scientist to niemal przeciwległy biegun – tzn. bez specjalistycznej edukacji i zamiłowania do matematyki, algorytmów i liczb może mieć bardzo ciężko, to już inżynier danych przy odpowiednim poziomie doświadczenia (czyt. liczbie zrealizowanych projektów i rozwiązanych problemów) zdecydowanie zyskuje na wartości bardziej, niż teoretyk. Czy to oznacza, że nie trzeba się uczyć, aby pracować w tej roli? Oczywiście, że TRZEBA! Zobacz pkt 1 – języki programowania, umiejętność analizy wzorców, wyciągania wniosków to bardzo ważne umiejętności. Podobnie jak wiedza w zakresie relacyjnych baz danych, czy koncepcja Data Lake. Bez takich podstaw w zasadzie nie ma czego szukać w tej roli. Należy jednak pamiętać, że dobry inżynier to ten, który nie raz “ubrudził” sobie ręce kodem i pracował z różnymi systemami od 10 transakcji na godzinę w bazie relacyjnej po miliony komunikatów na sekundę w strumieniu danych.

  4. Komunikacja – na pierwszy rzut oka może się wydawać, że opisywana rola jest bardzo mocno wyizolowana z interakcji z innymi ludźmi, skupiona na technologii, pisząca kod czy też klikająca jakieś skomplikowane procesy ETL/ELT. Nic bardziej mylnego. Inżynier danych do epicentrum interakcji z innymi. Współpracuje z wieloma wewnętrznymi i zewnętrznymi zespołami. Jednego dnia rozmawia z Data Scientist-ami, by następnego zrozumieć prawdziwe wyzwania biznesu w zakresie wykorzystania danych i pracować przez kilka godzin/dni z analitykami. Bez wątpienia umiejętność pracy w zespole i komunikatywność jest jedna z pięciu kluczowych dla inżyniera danych.

  5. Jedyną stałą rzeczą w życiu jest zmiana powiedział/napisał Heraklit z Efezu. Perfekcyjnie opisuje to jak wygląda świat inżynierii danych i na co powinien być gotowy każdy inżynier danych. Opisywana rola jeszcze 5 lat temu w zasadzie nie istniała, dzisiaj jak już wiemy jest na szczycie zapotrzebowania na role niemal w każdej organizacji. Jak będzie wyglądała za kilka lat? Z pewnością się przekonamy, bo przewidzieć jest bardzo ciężko. Dlatego jako ostatnią umiejętność trzeba wskazać chęć do nauki/rozwoju, ponieważ bez tego nawet najlepszy inżynier danych bardzo szybko wypadnie z tzw. “obiegu”

I co? Podoba Ci się taka wizja roli inżyniera danych?
Nadal chcesz podążać tą drogą lub właśnie ją rozpocząć? Mam nadzieję, że tak i właśnie dlatego specjalnie dla Ciebie poniżej znajdziesz ścieżkę przygotowania do roli Inżyniera danych (bazując na platformie Azure), która jednocześnie jest dobrym punktem startowym, aby przygotować się do egzaminu Microsoft Certified: Azure Data Engineer Associate

–> Pobierz plan nauki <–

ZOSTAW ODPOWIEDŹ

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *