Adresaci szkolenia:

Szkolenie jest adresowane do programistów, architektów oraz administratorów aplikacji, którzy chcą tworzyć lub utrzymywać procesy ekstrakcji, transformacji i ładowania danych (ETL) z wykorzystaniem Pentaho Data Integration (PDI). Szkolenie jest także kierowane do osób, które chcą uzupełnić swoją wiedzę o pojęcia związane z hurtowaniami danych (DWH) oraz ich realizacją z wykorzystaniem oprogramowania Pentaho Business Intelligence Suite.

Cel szkolenia:

Uczestnicy szkolenia zdobędą przekrojową wiedzę dotyczącą projektowania, implementowania, monitorowania, uruchamiania, strojenia procesów ETL, poznają założenia hurtowni danych tj najpopularniejsze schematy relacyjnych hurtowni danych. Dzięki temu będą mogli wybrać właściwy zestaw narzędzi i technik dla swoich projektów. Szkolenie, poza ogólnym wprowadzeniem do pojęć teoretycznych, skupia się na stosie produktowym wybudowanym wokół Pentaho Business Intelligence a w szczególności na Pentaho Data Integration (PDI).

Mocne strony szkolenia:

Program obejmuje zarówno ogólne wprowadzenie w tematykę ETL i DWH, jak i całościowe przedstawienie stosu produktowego Pentaho Data Integration. Szkolenie jest unikalne, gdyż tematyka poruszana w jego trakcie nie jest wyczerpująco ujęta w dostępnej literaturze, a wiedza na ten temat jest mocno rozproszona. Program jest ciągle uaktualniany ze względu na szybki rozwój rozwiązań, których dotyczy szkolenie.

Wymagania:

Od uczestników wymagana jest podstawowa znajomość baz danych, podstawowa umiejętność programowania w języku Java.

Parametry szkolenia:

3*8 godzin (3*7 netto) wykładów i warsztatów, z wyraźną przewagą warsztatów. W trakcie warsztatów, oprócz prostych ćwiczeń, uczestnicy rozwiązują problemy przetwarzania danych implementując własne procesy ETL, modelują struktury hurtowni danych, wykonują podstawowe czynności administracyjne. Wielkość grupy: maks. 8-10 osób

Program szkolenia

  1. Wstęp
    1. Wprowadzenie do hurtowni danych:
      • OLTP, OLAP, bazy danych, hurtownie danych, data marty
      • ROLAP, MOLAP, HOLAP
      • Normalizacja, agregacja, fakty, wymiary
      • SQL, MDX, XML/A
      • ETL
      • BigData, BigTable, NoSQL, nierelacyjne hurtownie danych
      • Pozostałe
    2. Platforma Pentaho BI Suite
  2. ETL
    1. Ekstrakcja danych
    2. Transformacja, oczyszczenie i uzupełnianie danych
    3. Ładowanie
    4. Wyznaczniki i ocena jakości danych
    5. Stage’ing
    6. Hurtownie czasu rzeczywistego
    7. Kwestie wydajnościowe w kontekście procesów ETL
    8. Przegląd narzędzi ETL dostępnych na rynku
  3. Pentaho Data Integration
    1. Architektura
      • Kettle
      • Spoon
      • Pan
      • Kitchen
      • Carte
  4. Praca ze Spoon
    1. Instalacja, uruchomienie, Look&Feel (perspektywy, zakładki etc.)
    2. Zmienne
    3. Hop’y
    4. Praca z repozytorium i plikami XML
    5. Współdzielenie obiektów tj. połączenia z bazami danych, partycje, klastry
  5. Praca ze Spoon i z transformacjami
    1. Czytanie i zapisywanie danych z różnych źródeł danych
      • Przegląd Inputs and Outputs
      • Table input/output w szczegółach
      • Text file input/output w szczegółach
      • XML file input/output w szczegółach
      • Deserialize from/Serialize to file w szczegółach
      • Pozostałe
    2. Walidacja danych
      • Data Validator
      • XSD Validator
      • Pozostałe
    3. Uzupełnianie danych
      • Database/Webservice/Stream lookup
      • HTTP/REST client
      • Combinaton lookup/update
      • Dimension lookup/update
      • Pozostałe
    4. Transformacja danych
      • Transform
      • Joins
      • Mapping
      • Flow
      • Filter
    5. Optymalizacja
      • Bulk loading
      • Statistics
      • Przetwarzanie równoległe
      • Partycjonowanie
      • Klastrowanie
    6. Wykorzystanie własnego kodu w transformatach
      • Java Expression, Java Class
      • Java Script
      • SQL Script
      • Regex
    7. Utlilities
      • Syslog
      • Mail
      • SSH
      • Pozostałe
    8. Monitorowanie wydajności i analiza logów
    9. Wersjonowanie i praca grupowa
  6. Praca ze Spoon i z zadaniami
    1. Zadania (kjb) a transformaty (ktr)
    2. Tworzenie złożonych zadań
    3. Wykorzystanie własnego kodu w zadaniach
      • Java Script
      • SQL Script
      • Shell
    4. Przepływ pracy
      • Conditions
    5. Praca z plikami
      • XML
      • File transfer
      • File encryption
      • File managment
    6. Monitorowanie wydajności i analiza logów
    7. Wersjonowanie i praca grupowa
  7. Praca z Kitchen i Pan
    1. Uruchamianie zadań i transformat z plików i z repozytorium
    2. Scheduling
    3. Obsługa błędów
    4. Przekierowanie wejścia/wyjścia
  8. Praca z Cartle
    1. Zdalne uruchomienie transformat i zadań
  9. Pentaho Data Integration Marketplace i Pentaho Data Integration Plug-Ins

Pytania?

* Wymagane.
** Szczegóły promocji w Regulaminie.


Konsultant on-line
Skorzystaj z usług naszego konsultanta on-line.
Naciśnij przycisk ‘Skorzystaj’ aby przejść do okienka czatu
Kontakt
ul. Nowogrodzka 62c
02-002 Warszawa
Telefon +48 22 2035600
Fax +48 22 2035601
Email