Big Data
Inżynieria przetwarzania dużych zbiorów danych
Big data
Zajęcia Informacje o przedmiocie w tym warunki zaliczenia

Projekty na zaliczenie

Lista projektów na zaliczenie ćwiczeń.
Lista tematów na zaliczenie wykładu.
Grupa
Stacjonarne, wykładStacjonarne, ćwiczenia
gr. 31 (n.parz.)		Stacjonarne, ćwiczenia
gr. 32 (parz.)		Zaoczne
Wykład 12021-03-192021-03-21
Wykład 22021-04-162021-04-10
Wykład 32021-04-30
(do przykładów)		2021-04-10
(do architektury)
2021-05-08
(do końca)
Wykład 42021-05-142021-05-22
Wykład 52021-05-28download
Wykład 62021-06-11download
Ćwiczenie 12021-03-122021-03-192021-03-21
Ćwiczenie 22021-03-262021-04-162021-04-10
Ćwiczenie 32021-04-092021-04-302021-05-08
Ćwiczenie 42021-04-232021-05-082021-05-22
Ćwiczenie 52021-05-212021-05-14download
Ćwiczenie 62021-06-042021-05-28download
Ćwiczenie 72021-06-182021-06-11download

Studia dzienne:
Wykład: III: 19; IV: 16, 30; V: 14, 28; VI: 11
Ćwiczenia, grupa 31: III: 12, 26; IV: 09, 23; V: 21; VI: 04, 18
Ćwiczenia, grupa 32: III: 19; IV: 16, 30; V: 07, 14, 28; VI: 11



Wykład

  1. Zajęcia 1 Big Data concepts and terminology
    Wprowadzeine w tematykę, dlaczego mówimy o inżynierii, próba zdefiniowania i uchwycenia istoty - kiedy coś (nie) jest big data.
    • Materials
    • Co po tych zajęciach powinno się znać / wiedzieć / umieć
      • Czym jest Big Data? Zdefiniuj to pojęcie.
      • Czym różnią się dane jakościowe od danych ilościowych? Podaj przykłady danych należących do każdego z typów.
      • Opisz związki jakie zachodzą pomiędzy danymi, informacją, wiedzą i mądrością. Czym się one różnią między sobą?
  2. Zajęcia 2 Big Data concepts and terminology
    • Materiały
    • Co po tych zajęciach powinno się znać / wiedzieć / umieć
      • Opisz czynniki charakteryzujące Big Data (volume, velocity, variety, veracity, value).
      • Czym różnią się dane jakościowe od danych ilościowych? Podaj przykłady danych należących do każdego z typów.
      • Czym różni się analiza danych od analityki danych? Wymień rodzaje analityki danych (descriptive, diagnostic, predictive , prescriptive).
  3. Zajęcia 3 Message queues
    • Materiały
    • Co po tych zajęciach powinno się znać / wiedzieć / umieć
      • Podaj możliwe uzasadnienia wyboru kolejki komunikatów jako elementu składowego większego systemu.
      • Wymień i opisz rolę poszczególnych elementów kolejki komunikatów.
  4. Zajęcia 4 Big Data paradigm
    • Materials
    • Co po tych zajęciach powinno się znać / wiedzieć / umieć
      • O czym mówi prawo Amdahl'a? Scharakteryzuj skalowanie pionowe i poziome (vertical scaling, hor­izontal scaling).
      • Wymień i opisz czynniki jakie należy brać pod uwagę w przypadku systemów Big Data.
  5. Zajęcia 5 Processing concepts for Big Data (do omówienia MapReduce, ale bez porównania)

Ćwiczenia

  1. Zajęcia 1.1 Virtual machine and Anaconda installation and configuration
  2. Zajęcia 1.2 Czyszczenie danych (data cleaning)
  3. Zajęcia 2 Czyszczenie danych (data cleaning) - przykładowe rozwiązania
  4. Zajęcia 3 Sortowanie danych - przykładowe rozwiązania dla sortowania w plikach
  5. Zajęcia 4 Wyrażenia regularne (ang. regular expressions) - przykładowe rozwiązania
    • Materials
    • Co po tych zajęciach powinno się znać / wiedzieć / umieć
      • Jak użyć wyrażeń regularnych.
      • Kiedy (nie)warto używać wyrażeń regularnych.
    • Kolejne zadanie: przetwarzanie wielowątkowe/wielozadaniowe (ang. multithreading/multitasking)
  6. Zajęcia 5 Studium przypadku - kiedy proste zadanie staje się zadaniem nierozwiązywalnym i jak mimo to je rozwiązać.
    • Materials
        ...
    • Co po tych zajęciach powinno się znać / wiedzieć / umieć
        ...
  7. Zajęcia 6 Przetwarzanie wielowątkowe/wielozadaniowe (ang. multithreading/multitasking) - przykładowe rozwiązania
  8. Zajęcia 7 Basics of messaging with RabbitMQ
    • Materials
      • Install - instalacja RabbitMQ
      • Basic examples - proste przykłady pokazujące sposoby użycia
      • Należy rozwiązać zadanie identyczne jak z poprzednich ćwiczeń (Przetwarzanie wielowątkowe/wielozadaniowe), ale wykorzystując kolejkę komunikatów
    • Co po tych zajęciach powinno się znać / wiedzieć / umieć

Materiały