PYTHON II: Adatvizualizáció, statisztikai adatelemzés és gépi tanulás PYTHON-NAL - 5 x 3 óra (HALADÓ FELHASZNÁLÓKNAK)

Program

1. Fejezet - Adatvizualizáció, diagramok készítése – Matplotlib könyvtár

• Adatok importálása Pandas dataframe-be
• Az adatok előkészítése
• Pivot táblák készítése
• Vonaldiagramok létrehozása
• Formázások (szín, marker, stílus)
• Diagramok csak marker-ekkel
• Adatfeliratok hozzáadása a diagramokhoz
• Területdiagramok
• Függőleges sáv (oszlop) diagramok
• Vízszintes sáv diagramok
• Kördiagramok
• Többszörös vonaldiagramok
• Halmozott függőleges és vízszintes sáv diagramok
• Mintázat (hatch) stílusok
• Kombinált diagramok
• A diagramok elmentése fájlba
• Több aldiagram egymás mellett/alatt, "Dashboard" készítése
• Interaktív diagramok létrehozása
• Interaktív diagramok szűrése Widget-ekkel

2. Fejezet - Statisztikai adatelemzés – Pandas, Matplotlib, Seaborn, SciPy könyvtárak

• Leíró statisztikák (medián, átlag, percentilisek stb.)
• Az adathalmaz leggyakoribb eleme (módusz)
• Az adatok eloszlásának vizualizálása: Hisztogram
• A Dobozábra (Boxplot) diagram
• A Pontdiagram
• Változók közötti összefüggések (korreláció)
• Hipotézis tesztelés
• Könyvtárak és modulok (hierarchia)
• A SciPy könyvtár
• A Ferdeség (Skewness) és a Kurtózis
• Normális eloszlású a minta? (Normalitás teszt)
• Az output feltételes színezése
• Normalitás teszt valószínűségi Q-Q diagrammal
• A variancia homogenitásának tesztelése (Levene-próba)
• Különbözik-e 2 csoport átlaga? (t-próba)
• Különbözik-e 2-nél több csoport átlaga? (ANOVA)

3. Fejezet - Gyorsabb kalkulációk többdimenziós tömbökkel – NumPy könyvtár

• Mi az a NumPy?
• Listák vs NumPy tömbök (arrays)
• Az elemenkénti számítási elv
• Lista hozzáadása a NumPy tömbhöz
• Egész (integer) típusú tömb létrehozása
• A tömbök fontos tulajdonságai
• A NumPy tömb vs Lista elemeinek tárolási mérete
• A lebegőpontos szám (float) típusú tömbök
• Pandas dataframe hozzáadása NumPy tömbhöz
• Futás idő összehasonlítás (Pandas dataframe vs. lista vs. NumPy tömb)
• Elemek elérése tömbökben (szeletelés, slicing)
• Tömbök elemeinek módosítása
• Kalkulációk a NumPy tömbökkel
• Tömbök létrehozása meghatározott értékekkel
• Adattípus módosítása, értékek kerekítése
• Tömbök átalakításai
• A tömbök alakjának megváltoztatása (reshape)
• Dátumok és idők kezelése

4. Fejezet - Előrejelzések, predikciók készítése Gépi Tanulással (Machine Learning) I. – Scikit-Learn könyvtár

• A fő Gépi Tanulási (Machine Learning) algoritmusok
• Regresszió vs osztályozás (classification)
• Osztályozás kategória – algoritmus: Döntési Fa (Decision Tree)
  • Adatok importálása
  • A Feature (X) és a Label (Y) adatkészletek létrehozása
  • A Scikit-Learn könyvtár
  • A modell építése és betanítása
  • Előrejelzések, predikciók adása új adatokra
  • Az adatkészlet felosztása Betanítási és Tesztelési adatkészletekre
  • Előrejelzések, predikciók adása a Tesztelési adatkészletre
  • Pontossági, precizitási pontszám
  • Mentsük el a modellt egy külön fájlba
• Regresszió kategória – algoritmus: Lineáris Regresszió – 1 változó
  • Adatok importálása, előkészítése, átalakítása, tisztítása
  • A Feature (X) és a Label (Y) adatkészletek létrehozása
  • Az adatkészlet felosztása Betanítási és Tesztelési adatkészletekre
  • A regressziós modell építése és betanítása
  • A regressziós egyenlet
  • Előrejelzések, predikciók adása a Tesztelési adatkészletre
  • A regresszió hibája
  • Előrejelzések, predikciók adása új adatokra
  • A futási idő kiszámítása 

5. Fejezet - Előrejelzések, predikciók készítése Gépi Tanulással (Machine Learning) II. – Scikit-Learn könyvtár

• Regresszió kategória – algoritmus: Többszörös Lineáris Regresszió – több változó (numerikus)
  • Adatok importálása
  • A Feature (X) és a Label (Y) adatkészletek létrehozása
  • A többszörös lineáris regressziós egyenlet
  • Előrejelzések, predikciók adása új adatokra

• Több változós adatkészlet (numerikus és kategorikus)
• Adat előkészítés (Data Preparation), adattisztítás
  • Adatok importálása
  • "Segédprogramok" létrehozása pl. az adatok előkészítéséhez
  • A segédprogram függvényeinek használata a fő programban
  • Változótípusok: Kategorikus és Numerikus
  • Kerüljük el az "Adatszivárgást" (data leakage)
  • Kategorikus és numerikus változók szétválogatása
  • A hiányzó értékek pótlása
  • Transzformátorok létrehozása
  • Oszlop-transzformátor: transzformátor hozzárendelése adott oszlopokhoz
  • A tényleges átalakítások elvégzése az adatkészleten
  • Az Ordinális kategorikus változók numerikussá konvertálása
  • Az Nominális kategorikus változók numerikussá konvertálása
  • A Numerikus változók skálázása
  • A feladatok egymás után fűzése Pipeline-ban
• Regresszió kategória – algoritmus: Többszörös Lineáris Regresszió – több változó (numerikus és kategorikus)
  • Az adat előkészítés lefuttatása
  • A regressziós modell építése, betanítása és tesztelése
  • A tényleges vs előrejelzett értékek megjelenítése diagramon
  • Az RMSE skálázott változók esetén
  • Előrejelzések, predikciók adása új adatokra
• Osztályozás kategória – algoritmus: Többszörös Logisztikus Regresszió – több változó (numerikus és kategorikus)
  • A logisztikus regressziós modell
  • A logisztikus regresszió egyenlete
  • A tényleges vs előrejelzett értékek megjelenítése

A logisztikus regressziós egyenlet visszaellenőrzése