Projekty na zaliczenie

Lista projektów na zaliczenie ćwiczeń.
Lista tematów na zaliczenie wykładu.

Wykład

1. Zajęcia 1 Big Data concepts and terminology
   
   • Materials
     • Big Data concepts and terminology
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Czym jest Big Data? Zdefiniuj to pojęcie.
     • Opisz czynniki charakteryzujące Big Data (volume, velocity, variety, veracity, value).
     • Czym różnią się dane jakościowe od danych ilościowych? Podaj przykłady danych należących do każdego z typów.
     • Opisz związki jakie zachodzą pomiędzy danymi, informacją, wiedzą i mądrością. Czym się one różnią między sobą?
     • Czym różni się analiza danych od analityki danych? Wymień rodzaje analityki danych (descriptive, diagnostic, predictive , prescriptive).
2. Zajęcia 2 Message queues
   
   • Materials
     • Message queues
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Podaj możliwe uzasadnienia wyboru kolejki komunikatów jako elementu składowego większego systemu.
     • Wymień i opisz rolę poszczególnych elementów kolejki komunikatów.
     • Podaj przykłady użycia kolejki komunikatów.
     • Wymień i scharakterysuj najbardziej znane protokoły wykorzystywane przez kolejki komunikatów.
3. Zajęcia 3 Big Data paradigm
   
   • Materials
     • Big Data paradigm
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • O czym mówi prawo Amdahl'a? Scharakteryzuj skalowanie pionowe i poziome (vertical scaling, hor­izontal scaling).
     • Wymień i opisz czynniki jakie należy brać pod uwagę w przypadku systemów Big Data.
4. Zajęcia 4 Processing concepts for Big Data
   
   • Materials
     • Processing concepts for Big Data
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Wyjaśnij pojęcia: przetwarzanie równoległe, przetwarzanie rozproszone, klaster, grid, chmura, metoda dziel i zwyciężaj. Jaki widzisz związek pomiędzy tymi pojęciami?
     • W jaki sposób możemy rozumieć określenie przetwarzania w czasie rzeczywistym (realtime).
     • Czym różni się przetwarzanie wsadowe (batch) od przetwarzania w czasie rzeczywistym (realtime)?
     • Porównaj ze sobą divide and conquere i mapreduce.
     • Opisz czego dotyczy zasada SVC (Speed, Consistency and Volume (SCV) principle).
5. Zajęcia 5 Do we really need Big Data? oraz Big Data adoption issues and considerations
   
   • Materials
     • Do we really need Big Data?
     • Big Data adoption issues and considerations
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Jakie korzyści dla biznesu wynikają z wdrożenia technologi Big Data.
     • Omów czynniki jakie należy brać pod uwagę przed wdrożeniem technologi Big Data.
6. Zajęcia 6 Data model for Big Data
   
   • Materials
     • Data model for Big Data
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć

---

Ćwiczenia

1. Zajęcia 1 Czyszczenie danych (data cleaning)
   
   • Materials
     • Pandas
       • Pandas
       • pandas: powerful Python data analysis toolkit
         • 10 Minutes to pandas
         • Working with Text Data
         • Tutorials
       • 12 Useful Pandas Techniques in Python for Data Manipulation
       • Pandas tips and tricks
       • Quick and Dirty Data Analysis with Pandas
       • Apply Operations To Groups In Pandas
       • Bucketing Continuous Variables in pandas
       • Counting Values & Basic Plotting in Python
       • Pandas Cheat Sheet — Python for Data Science
     • Zbiory danych
       • data_01.dat.zip - plik do pracy (opis formatu).
       • data_01_with_redundant.dat.zip powyższy plik, ale ze zduplikowanymi niektórymi wierszami.
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Znać podstawową funkcjonalność biblioteki Pandas oraz umieć użyć ją do realizacji typowych dla niej zadań.
2. Zajęcia 2 Czyszczenie danych (data cleaning) - przykładowe rozwiązania
   
   • Materials
     • Materiały zostały udostępnine za pomocą poczty elektronicznej lub w trakcie zajęć.
   • Zbiory danych do zadania
     • data_01.dat.zip - plik do pracy (opis formatu).
     • data_01_with_redundant.dat.zip powyższy plik, ale ze zduplikowanymi niektórymi wierszami.
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
3. Zajęcia 3 Wyrażenia regularne (ang. regular expressions)
   • Materials
     • W opisie zadania
   • Zbiory danych do zadania
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
     • Jak użyć wyrażeń regularnych.
     • Kiedy (nie)warto używać wyrażeń regularnych.
4. Zajęcia 4 Przetwarzanie wielowątkowe/wielozadaniowe (ang. multithreading/multitasking)
   • Materials
     • W opisie zadania
   • Zbiory danych do zadania: files.tgz (200000 pustych plików)
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć
5. Zajęcia 5 Basics of messaging with RabbitMQ
   • Materials
     • Install - instalacja RabbitMQ
     • Basic examples - proste przykłady pokazujące sposoby użycia
     • Należy rozwiązać zadanie identyczne jak z poprzednich ćwiczeń, ale wykorzystując kolejkę komunikatów
   • Zbiory danych do zadania: files.tgz (200000 pustych plików)
   • Co po tych zajęciach powinno się znać / wiedzieć / umieć

Materiały

• ...