Didžiųjų duomenų technologijos

Studijų dalyko aprašas

Šis kursas skirtas suteikti studentams žinių ir įgūdžių tvarkyti didelius duomenis naudojant „Apache Spark“ – galingą atvirojo kodo vieningą analizės variklį. Šio kurso metu studentai mokosi, kaip rašyti ir įkelti duomenis į didžiųjų duomenų klasterį, pasinerti į duomenų valymo, transformavimo ir paruošimo analizei metodus, kurti nuspėjamuosius modelius ir atskleisti paslėptas duomenų įžvalgas.

Tikslas parengti magistrus, kurie turėtų integruotų Didžiųjų duomenų technologijos (BDT) žinių ir jų profesinio pritaikymo įgūdžių rinkinį verslo planavimo ir sprendimų palaikymo, modeliavimo, organizavimo ir optimizavimo, koordinavimo ir įgyvendinimo privačiame ir viešajame sektoriuje bei konstruktyviai naudoti BDT plačiame pasaulyje. profesinės veiklos spektrą, kurti ir plėtoti verslą, paslaugas ir rinkas būti pasiruošusiems nuolatiniam tobulėjimui per mokymąsi visą gyvenimą.

Numatomi studijų rezultatai: žinos statistinius metodus ir priemones didžiųjų duomenų apdorojimo kontekste. Gebės praktinio uždavinio formuluotę susieti su tipiniais didžiųjų duomenų uždaviniais, išskirti ir išnaudoti savybes leidžiančias efektyviai išspręsti uždavinį. Gebės naudoti platforma Hadoop, analizės varikliu Spark, kalba Python didžiųjų duomenų apdorojimui. Gebės susieti literatūroje esančius metodus su programinės įrangos dokumentuotomis funkcijomis ir parametrais, ieškoti naujų metodų pagal uždavinio keliamus reikalavimus ir įvertinti jų tinkamumą.

Dalyko apimtis - magistrantūros 6 kreditų studijų dalykas.

Dalyko turinys

Paskaitų temos:

Įvadas į didžiuosius duomenis: „Hadoop“, „Hive“, „Spark“

Duomenų analizės metodai

Susipažinimas su Spark

Duomenų valdymas ir IT architektūra

Verslo žvalgybos ir didelių duomenų analizės pagrindai

Didžiųjų duomenų analizės metodai

Pratybų temos:

Darbas su HDFS

Problemų sprendimai juos įgyvendinant per MapReduce programavimo modelį, skaičiavimai

Problemų sprendimai naudojant Spark variklį ir pagrindinę duomenų struktūrą RDD 

Darbas su Spark ekosistemos komponentais, įvedimas į Spark DataFrame duomenis

Mašininis mokymasis naudojant didžiųjų duomenų technologijas

Sėkmingai baigus studijų dalyką bus išduota Studijų pažyma, įskaitoma bet kurioje aukštojoje mokykloje.