Nasz Blog

Co to jest Big Data i kto to wykorzystuje?

Czym jest Big Data? O samym terminie, jak i zastosowaniu Big Data napisano już tysiące publikacji, a mimo to wciąż nie ma jednoznacznej definicji, która w sposób wyczerpujący określiłaby to zagadnienie. Po części dlatego, że zależnie od kontekstu, Big Data jest różnie rozumiane i utożsamiane z szerokim wachlarzem działań i pojęć. Jedno jest pewne – jak by nie patrzeć na Big Data, dla firm niemal zawsze oznacza to coś wielkiego.

W Big Data chodzi oczywiście o przetwarzanie danych, z tym że odnosi się ono do ogromnych ilości informacji mających najczęściej rozproszone źródła i powstających w sposób dynamiczny. Ponadto o Big Data mówimy wtedy, gdy z powodu różnorodności źródeł danych oraz wielkości ich zbiorów, przetwarzanie nie jest możliwe za pomocą powszechnie dostępnych sposobów.

Kto ma informacje, ten wygrywa

Umiejętność gromadzenia i przetwarzania danych staje się coraz bardziej istotnym czynnikiem w gospodarce. To oczywiste – wszak od zawsze mówiło się, że informacje same w sobie to kapitał, a kto ma dostęp do wiedzy, ten zajmuje uprzywilejowaną pozycję względem tych, którzy tego dostępu nie mają.

Wiedza była i jest towarem o wysokiej wartości. W tym kontekście ogólnie obowiązujące prawidła nie zmieniły się, natomiast w ciągu ostatnich kilkunastu lat w sposób diametralny zmieniło się otoczenie informacyjne działających na rynku podmiotów. Rozwój internetu, upowszechnienie urządzeń mobilnych, mediów społecznościowych, cyfryzacja administracji, rozwój e-commerce, Internet Rzeczy, rozwój usług i aplikacji dostępnych w chmurze obliczeniowej – wszystko to sprawiło, że w stosunkowo krótkim czasie działające na rynku firmy zmuszone zostały dokonać gruntownej reorganizacji metod zarządzania danymi. Proces ten często określany jest transformacją cyfrową.

Wyzwania w przetwarzaniu danych

W największym skrócie chodzi w nim o to, by na swój użytek móc umiejętnie wykorzystać dostępne dane, których w założeniu jest ogrom, których nieustannie przybywa i z których spora część jest nieustrukturyzowana. W tym kontekście Big Data pełni dla gospodarki zasadniczą rolę – odnosi się bowiem do przetwarzania różnego rodzaju wartościowych informacji, które można wykorzystać do osiągnięcia konkretnych celów.

Ilość danych w Big Data liczona jest w gigabajtach a niekiedy nawet w terabajtach. Jasne jest więc, że do efektywnego i bezpiecznego rozporządzania taką ilością danych potrzeba konkretnych umiejętności, technologii, jak i strategii. Dlaczego do bezpiecznego? Choćby dlatego, że na terenie całej UE obowiązują przepisy związane z RODO, a w Big Data mamy przecież często do czynienia z danymi osobowymi i wrażliwymi. Przetwarzanie tego rodzaju informacji wiąże się z bardzo konkretnymi obostrzeniami prawnymi, których naruszenie grozi wysokim karom.

Big Data – trochę historii

Termin Big Data został po raz pierwszy użyty w latach dziewięćdziesiątych przez informatyka John’a Mashey’a. W ten sposób określił on ilość informacji na tyle sporą, że nie można nią w łatwy sposób zarządzać. Z czasem termin Big Data ewoluował, i tak na początku tego wieku określały go trzy atrybuty:

  • Volume – ilość danych,
  • Variety – różnorodność,
  • Velocity – szybkość przetwarzania.

Po kolejnych 10 latach dodano jeszcze dwa inne atrybuty:

  • Variability – zmienność
  • Complexity – złożoność.

W czym pomaga analiza big data?

Big Data z czasem stawało się coraz bardziej złożonym pojęciem ukazując różnego rodzaju zastosowanie oraz modele pozyskiwania i użytkowania informacji w naukach informatycznych. Obecnie Big Data jest podstawą w działaniu wielu sektorów gospodarki, dla których umiejętność rozporządzania dużą ilością danych bezpośrednio przekłada się na:

  • lepszą decyzyjność,
  • cięcie kosztów,
  • optymalizację działań,
  • wyznaczanie kierunków rozwoju,
  • umiejętność nabywania elastyczności w działaniu,
  • szybkie reagowanie na zmienność oczekiwań klientów.

W jakich sektorach wykorzystuje się big data?

Technologie Big Data najczęściej wdrażane są przez podmioty z sektorów, w których cechą wspólną jest konieczność przetwarzania wielkich zbiorów danych. Sektorem takim jest np. branża finansowa i ubezpieczeniowa, telekomunikacja, ale także różnego rodzaju branże z sektora produkcji czy handlu.

Potencjał zastosowania Big Data jest ogromny, dotyka bowiem tak zasadniczych kwestii jak:

  • ocena ryzyka,
  • monitorowanie procesów i działalności,
  • prognozowanie trendów,
  • predykcja zdarzeń i wyników biznesowych czy
  • personalizowanie komunikacji w obszarach marketingu i sprzedaży.

A to tylko niektóre z zagadnień. Nie bez powodu metody wykorzystania Big Data (a dokładniej przetwarzania danych) podlegają szeregom regulacji, takich jak np. wspomniane RODO. Warto przypomnieć, że samo wdrożenie RODO w Polsce pociągnęło za sobą konieczność nowelizacji ponad stu ustaw.

Big Data – skala ciągnie rośnie

Dzisiejszy świat charakteryzuje się m.in. tym, że z każdym miesiącem ogólna Ilość gromadzonych i przetwarzanych informacji przez podmioty gospodarcze przyrasta w stopniu wykładniczym. Przybywa źródeł danych i kanałów komunikacji wykorzystywanych na co dzień przez firmy. Intensywny rozwój na tym polu powoduje, że ciągle rośnie zapotrzebowanie na specjalistów od zarządzania danymi, a jednocześnie dostępnych jest coraz więcej technologii wspierających Big Data.

Jak w praktyce działa przetwarzanie tak wielkich ilości danych? Narzędzia do Big Data

Jak w praktyce działa przetwarzanie tak wielkich ilości danych? Narzędzia do Big Data

Najważniejszym algorytmem stosowanym do sortowania informacji jest MapReduce. Służy on do rozproszenia zbiorów informacji na wiele serwerów porządkujących je i wybierających właściwe elementy zgodne z regułami zapytania. Następnie algorytm gromadzi frazy do postaci wynikowej tak, aby użytkownik otrzymał możliwie dużo wartościowych informacji.

Do ważnych narzędzi wykorzystywanych obecnie w Big Data należą m.in. Avro, Cassandra, Flume, Hadoop, Lucene, Mahout, MongoDB, Neo4j, RapidMiner, Sqoop, Storm czy Terracotta.

Big Data – przykłady zastosowań

Zastosowanie w targetowaniu reklam

Interesującym przykładem zastosowania Big Data są portale społecznościowe, takie jak np. Facebook, które dostosowują wyświetlanie reklam zależnie od preferencji i zainteresowań. Dla przykładu miłośnicy sztuki walki będą częściej widzieć reklamy dotyczące akcesoriów sportowych niż np. osoby zainteresowane programowaniem w C++. Dzieje się tak, ponieważ aktywność użytkowników oraz wyszukiwane przez nich informacje są automatycznie przetwarzane w taki sposób, by w przyszłości na ekranie użytkownika pojawiły się treści potencjalnie najbardziej dla niego interesujące. Dotyczy to oczywiście także reklam, dzięki czemu reklamodawcy mają szansę osiągać lepszą konwersję, a sami użytkownicy w ograniczonej przecież przestrzeni reklamowej nie stykają się z ofertami, które ich nie interesują.

Business Intelligence

Innym zastosowaniem Big Data może być wyszukiwanie informacji ważnych z punktu widzenia decydentów w firmach. Rozwiązania klasy Business intelligence (BI), których zadaniem jest dostarczanie informacji zarządczej bazują przede wszystkim na systemach dziedzinowych wykorzystywanych w przedsiębiorstwie, niemniej coraz częściej kierownictwo potrzebuje przetworzonych informacji z wielu źródeł zewnętrznych – np. dotyczących trendów konsumenckich czy opinii klientów. W tym przypadku nieodzowne jest przetwarzanie Big Data.