• Lista projektów.

Wykład

1. Wykład 1 Dlaczego mówimy o inżynierii. Cleansing, transforming, and integrating data
   
   • Tematy
     • Dlaczego mówimy o inżynierii.
     • Próba określenia jak postrzegamy big data.
     • Czyszczenie, transformacja i integracja danych.
   • Materiały
     • Książka, rozdział Cleansing, transforming, and integrating data.
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Czym jest proces ETL.
     • Teoretyczne aspekty czyszczenia, transformacji i integracji danych.
2. Wykład 2 Big Data concepts and terminology
   Wprowadzenie w tematykę, próba zdefiniowania i uchwycenia istoty - kiedy coś (nie) jest big data.
   • Materiały
     • Książka, rozdział Big Data concepts and terminology.
     • Ewentualnie: Big Data concepts and terminology
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Czym jest Big Data? Zdefiniuj to pojęcie.
     • Czym różnią się dane jakościowe od danych ilościowych? Podaj przykłady danych należących do każdego z typów.
     • Opisz związki jakie zachodzą pomiędzy danymi, informacją, wiedzą i mądrością. Czym się one różnią między sobą?
     • Opisz czynniki charakteryzujące Big Data (volume, velocity, variety, veracity, value).
3. Wykład 3 Processing concepts for Big Data
   
   • Materiały
     • Książka, rozdział Processing concepts for Big Data.
     • Processing concepts for Big Data
   • Materiały uzupełniające
     • Edge computing
     • Fog computing
     • Fog computing i edge computing – alternatywa czy uzupełnienie chmury?
     • Fog Computing
     • Edge And Fog Computing: Their Practical Uses
     • Cloud, Fog and Edge Computing – What’s the Difference?
     • SETI@home
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Wyjaśnij pojęcia OLTP i OLAP. Czym charakteryzują się te modele przetwarzania danych. Co jest proprytetem w każdym z nich, kiedy można je stosować?
     • Wyjaśnij pojęcia: przetwarzanie równoległe, przetwarzanie rozproszone, klaster, grid, chmura, metoda dziel i zwyciężaj. Jaki widzisz związek pomiędzy tymi pojęciami?
     • Co oznacza aaS (as a Service)? Jakie mamy rodzaje (poziomy) usłg tego typu, czym się one różnią i co się z tym wiąże?
     • Opisz czego dotyczy zasada SVC (Speed, Consistency and Volume (SCV) principle).
4. Wykład 4 Processing concepts for Big Data
   
   • Materiały
     • Książka, rozdział Processing concepts for Big Data.
     • Processing concepts for Big Data
   • Materiały uzupełniające
     • Merge sort
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • W jaki sposób możemy rozumieć określenie przetwarzania w czasie rzeczywistym (realtime).
     • Czym różni się przetwarzanie wsadowe (batch) od przetwarzania w czasie rzeczywistym (realtime)?
     • Porównaj ze sobą divide and conquere i mapreduce.
5. Wykład 5 Message queues
   
   • Materiały
     • Message queues
     • Basics of messaging with RabbitMQ
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Podaj możliwe uzasadnienia wyboru kolejki komunikatów jako elementu składowego większego systemu.
     • Wymień i opisz rolę poszczególnych elementów kolejki komunikatów.
6. Wykład 6 Storage concepts for Big Data
   
   • Materiały
     • Książka, rozdział Storage concepts for Big Data
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Scharakteryzować dane ustrukturyzowane, nieustrukturyzowane i semistrukturalne.
     • Wyjaśnić pojęcia data warehouse, data lake, data mart.

Ćwiczenia

1. Zajęcia 1 Cleansing, transforming, and integrating data
   
   • Materiały
     • Pandas
       • Pandas
       • pandas: powerful Python data analysis toolkit
         • 10 Minutes to pandas
         • Working with Text Data
         • Tutorials
       • 12 Useful Pandas Techniques in Python for Data Manipulation
       • Pandas tips and tricks
       • Quick and Dirty Data Analysis with Pandas
       • Apply Operations To Groups In Pandas
       • Bucketing Continuous Variables in pandas
       • Counting Values & Basic Plotting in Python
       • Pandas Cheat Sheet — Python for Data Science
     • Realizacja etapu E z procesu ETL:
       • Odczyt i zapis plików
         • Reading and Writing Files in Python
         • Reading and Writing Files in Python (Guide)
       • Wyrażenia regularne
         • ...
     • Transformacje danych
       • Wskaźnik Big Maca
       • The Big Mac index
     • Zbiory danych
       • Spreparowane dane
         • data_01.dat.zip - plik do pracy (opis formatu).
         • data_01_with_redundant.dat.zip powyższy plik, ale ze zduplikowanymi niektórymi wierszami.
         • data_01_v2.dat.zip - plik w wersji 2 (opis zmian).
         • data_01_v2_with_redundant.dat.zip powyższy plik, ale ze zduplikowanymi niektórymi wierszami (opis zmian).
       • Rzeczywisyte dane z GPS
         • 24080243.raw - "surowe dane z GPS".
         • 24080243_destination_format.txt - docelowa postać danych.
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Znać podstawową funkcjonalność biblioteki Pandas oraz umieć użyć ją do realizacji typowych dla niej zadań.
     • Praktyczne aspekty czyszczenia, transformacji i integracji danych.
2. Zajęcia 2 Cleansing, transforming, and integrating data (kontynuacja, przykładowe postępowania)
   
   • Materiały
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Przykładowe postępowanie z danymi na etapie ich czyszczenia, transformacji i łączenia
3. Zajęcia 3 Cleansing, transforming, and integrating data (algorytmy plikowe na podstawie sortowania w pliku)
   
   • Materiały
     • ...
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Przykładowe postępowanie z danymi na etapie ich czyszczenia, transformacji i łączenia
4. Zajęcia 4 Przetwarzanie wielowątkowe/wielozadaniowe (ang. multithreading/multitasking)
   • Materiały
     • ...
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Odróżniać proces od wątku.
     • Tworzyć elementarne programy wykorzystujące wielowątkowość/wieloprocesowość.
5. Zajęcia 5 Przetwarzanie wielowątkowe/wielozadaniowe (ang. multithreading/multitasking)
   • Materiały
     • ...
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Odróżniać proces od wątku.
     • Tworzyć elementarne programy wykorzystujące wielowątkowość/wieloprocesowość.
   • Zadanie:
     • generator.py
     • data.zip
6. Zajęcia 6 Przykład prostego procesu ETL
   • Materiały
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Omówić przebiego procesu ETL i scharakteryzować jego poszczególne etapy.
     • Umieć rozwiązać proste zadanie ETL.

Materiały

• ...