Verilənlər Alimi, Verilənlər Analitiki və Verilənlər Mühəndisi arasında fərq nədir?

Qlossari

Əsas hissə

Bu məqalədə biz Verilənlər Alimi, Verilənlər Analitiki və Verilənlər Mühəndisinin bir-birindən nə ilə fərqləndiyini araşdıracağıq. Çox insan bunları səhv salır. Məsələni daha da çaşdırıcı edən odur ki, işəgötürən şirkətlərin əksəriyyəti bu vakansiyaları müxtəlif cür təyin edir. 

Məsələyə bir az aydınlıq gətirmək üçün Monika Roqattinin tərtib etdiyi “Verilənlər Elmi sahəsində tələbatlar iyerarxiyası” sxemini nəzərdən keçirəcəyik, və bunun sayəsində Verilənlər Alimi, Verilənlər Analitiki, Verilənlər Mühəndisinin fərqli rollarını öyrənəcəyik. 

Bu sxem ilk növbədə bizə onu söyləyir ki, verilənləri düzgün qaydada toplaya bilmədiyimiz halda (pillə 1) Süni Zəka və Dərin Öyrənmədən (pillə 6) istifadə etməyin heç bir mənası yoxdur. Süni Zəka öz-özlüyündə biznesimizin problemlərini ecaskarcasına həll etməyə qadir deyil. Çox ehtimal ki, biznesimizin inkişafı üçün Süni Zəkanın köməyinə heç ehtiyac da yoxdur; çünki biznes-problemlərin əksəriyyətini “tələbatlar iyerarxiyasının” daha aşağı pillələrində də həll etmək mümkündür...

Verilənlərin toplanmasını nizama saldıqdan sonra biz onların düzgün saxlanılması üzərində düşünməliyik (pillə 2). Məsələn, əlimizdəki verilənlər bu halda ola bilər:

Sözsüz ki, gördüyümüzdə pis bir şey yoxdur, çünki bu həqiqətən də verilənlərdir. Lakin bu verilənlər üzərində iş apara bilməyimiz üçün biz onları yararlı bir yerə köçürməli və yadda saxlamalıyıq. Bu yer Relyasiyalı Verilənlər Bazası və ya adi csv-fayl ola bilər, fərq etməz. Əsas odur ki, biz verilənlərin bir yerdən digərinə müntəzəm surətdə köçürülməsini təmin etməkdən ötrü Verilənlər Konveyeri yazmalı olacağıq. Verilənlər böyük həcmdə olduğu və Paylanılmış Sistemdə toplandığı halda belə konveyerin yazılması olduqca mürəkkəb bir məsələyə çevrilir ki, bunun da öhdəsindən yalnız dərin bilikli Verilənlər Mühəndisi gələ bilər.

 Verilənlər bir yerə köçürüldükdən sonra biz onların keyfiyyəti barəsində düşünməliyik (pillə 3). Verilənləri toplayan proqram vasitələri insan əməyinin məhsulu olduğundan, toplanan verilənlər səhv və qüsurlara malik olur (məsələn, bir proqram vasitənin təqdim etdiyi verilənlərə əsasən, proqramdan sutkada 25 saat (!) istifadə edənlər olur). Elə bu səbəbdəndir ki, Verilənlər Mühəndisləri daima verilənlərin yoxlanması, təmizlənməsi, formatının dəyişdirilməsi üzərində çalışır.

 Bütün əvvəlki mərhələləri uğurla keçdikdən sonra, biz, nəhayət ki, verilənlərimizdən bizi maraqlandıran məlumatları əldə edə bilərik (pillə 4). Buna sorğular vasitəsilə nail olunur və əksər hallarda bundan ötrü SQL sorğu dilindən istifadə edilir. SQL öz sadəliyi sayəsində verilənlərin sorğu edilməsi üçün bir standarta çevrilmişdir. Bəzi iri şirkətlər isə (məsələn, Facebook) bu məqsəd üçün özlərinin hazırladığı xüsusi vasitələrdən istifadə edirlər. Hər iki halda, bu vasitələr verilənlər bazasına sorğu göndərir və aldığı məlumatları vizual şəkildə (qrafiklər, diaqramlar, animasiyalar və s.) istifadəçilərə təqdim edir. Həmin istifadəçilərə Verilənlər Analitiki, Biznes Analitik, Məhsul üzrə Menecer və digərləri daxildir. Onların hamısı biznesi üçün vacib olan bir çox suallara cavabı verilənlər bazasından əldə edərək, biznesə effektiv qərarlar verməyə kömək edir. Şirkətlərin əksəriyyəti üçün verilənlər iyerarxiyasının bu pilləsindən yuxarı getməyə heç bir ehtiyac qalmır. Faydalı və təmizlənmiş verilənlər həqiqətən də biznesə olduqca geniş imkanlar təqdim etməyə qadirdir.

Bu cür möhkəm bünövrə qoyduqdan sonra, biz onun üzərində “A/B test”  freymvorku yarada bilərik (pillə 5). Bu freymvork sayəsində, biznes öz məhsuluna etmək istədiyi dəyişikliklərdən hansının istifadəçilər tərəfindən müsbət qarşılanacağını öncədən öyrənə bilər (məsələn: səhifəmizdəki “Like” düyməsinin rəngini göydən (variant A) yaşıla (variant B) dəyişsək, istifadəçi “click”-lərinin sayı artacaqmı, ya yox?). Bundan əlavə, biz sadə Maşın Öyrənmə alqoritmlərindən istifadə etməklə, istifadəçilərin bu və ya digər hallarda necə hərəkət edəcəklərini proqnozlaşdıra da bilərik. Və yalnız o halda ki, sadə Maşın Öyrənmə alqoritmləri qarşımızda duran məsələnin öhdəsindən gəlmir, biz Süni Zəka və Dərin Öyrənmə texnologiyaları haqqında düşünə bilərik (pillə 6). “A/B test”, Maşın Öyrənməsi, Süni Zəka və Dərin Öyrənmə – bunların hamısı Verilənlər Aliminin ixtisaslaşdığı sahələrdir.

 Beləliklə, biz “Verilənlər Elmi sahəsində tələbatlar iyerarxiyası”nın bütün pillələrini nəzərdən keçirməklə Verilənlər Alimi, Verilənlər Analitiki və Verilənlər Mühəndisinın yerinə yetirdiyi müxtəlif funksiyaları öyrəndik.

Aşkar olduğu kimi, bu mütəxəssislərin hamısı “Verilənlər iyerarxiyasının” müxtəlif pillələrində duraraq, vahid prosesin müxtəlif mərhələlərini həyat keçirir. Bu səbəbdən, onların bilik və bacarıqları da kifayət qədər müxtəlif olmalıdır.

 Verilənlər Mühəndisi verilənlər sahəsində bakalavr dərəcəsinə, və ya verilənlərlə böyük iş təcrübəsinə malik olmalıdır. Proqramlaşdırma, verilənlərin arxitekturası və SQL sahələrində dərin biliklər; verilənlər konveyeri yazmaq, APİ-lar yaradıb inteqrasiya etmək bacarıqları Verilənlər Mühəndisi olmaq üçün mütləq şərtlərdir.

 Verilənlər Analitikinə dair tələblərin nisbətən aşağı olması, çoxlarını vadar edir ki, verilənlər sahəsindəki karyeraya məhz bu peşədən başlasınlar. Verilənlər Analitiki statistika elmini orta səviyyədə bilməlidir. O həm də Python və ya R kimi sadə proqramlaşdırma dilində ssenari (script) və kod yazmağı, SQL-sorğular tərtib etməyi, ədədi məlumatları analiz edib mövcud qanunauyğunluqları aşkar etməyi, qrafik və diaqramlar hazırlamağı bacarmalıdır.

 Verilənlər Alimi mürəkkəb və qarışıq tipli verilənlərin (rəqəmlər, mətnlər və s.) analizi və şərhi ilə məşğul olduğundan, bu vəzifədə çalışmaq istəyənlər dərin riyazi və statistik analiz biliklərinə malik olmalıdır. Üstəlik, onlar Maşın Öyrənməsi və Dərin Öyrənməni müfəssəl anlamalıdır. Verilənlər Alimi biznes-qərarların verilməsində bilavasitə iştirak etdiyi üçün, biznesin tələblərinə və onun fəaliyyət göstərdiyi mühitə də yaxından bələd olmalıdır. Bu vəzifədə çalışmaq istəyənlər, adətən, karyera yoluna müvafiq magistr proqramını keçməklə qədəm qoyurlar.

Nəticə

Sonda bir daha onu qeyd etməliyik ki, Verilənlər Elmi yeni bir sahə olduğundan, biznes mühitdə Verilənlər Alimi, Verilənlər Analitiki və Verilənlər Mühəndisinin funksiyaları haqda tam konsensus hələ ki formalaşmayıb. Bunun nəticəsi olaraq, işəgötürən şirkətlər eyni bir vakansiya dair fərqli-fərqli tələblər irəli sürür. Buna görə də, bu sahədə iş axtaran mütəxəssislərə tövsiyə olunur ki, iş üçün müraciət etməzdən öncə, işəgötürənin tərtib etdiyi vəzifə öhdəliklərini diqqətlə oxusunlar və potensial iş yerində nə ilə məşğul olacağını dəqiq öyrənsinlər.

Məqalənin müəllifi: A. Davidzadə