Co to jest Big Data i kto to wykorzystuje?
Czym jest Big Data? O samym terminie, jak i zastosowaniu Big Data napisano już tysiące publikacji, a mimo to wciąż nie ma jednoznacznej definicji, która w sposób wyczerpujący określiłaby to zagadnienie. Po części dlatego, że zależnie od kontekstu, Big Data jest różnie rozumiane i utożsamiane z szerokim wachlarzem działań i pojęć. Jedno jest pewne – jak by nie patrzeć na Big Data, dla firm niemal zawsze oznacza to coś wielkiego.
W Big Data chodzi oczywiście o przetwarzanie danych, z tym że odnosi się ono do ogromnych ilości informacji mających najczęściej rozproszone źródła i powstających w sposób dynamiczny. Ponadto o Big Data mówimy wtedy, gdy z powodu różnorodności źródeł danych oraz wielkości ich zbiorów, przetwarzanie nie jest możliwe za pomocą powszechnie dostępnych sposobów.
Kto ma informacje, ten wygrywa
Umiejętność gromadzenia i przetwarzania danych staje się coraz bardziej istotnym czynnikiem w gospodarce. To oczywiste – wszak od zawsze mówiło się, że informacje same w sobie to kapitał, a kto ma dostęp do wiedzy, ten zajmuje uprzywilejowaną pozycję względem tych, którzy tego dostępu nie mają.
Wiedza była i jest towarem o wysokiej wartości. W tym kontekście ogólnie obowiązujące prawidła nie zmieniły się, natomiast w ciągu ostatnich kilkunastu lat w sposób diametralny zmieniło się otoczenie informacyjne działających na rynku podmiotów. Rozwój Internetu, upowszechnienie urządzeń mobilnych, mediów społecznościowych, cyfryzacja administracji, rozwój e-commerce, Internet Rzeczy, rozwój usług i aplikacji dostępnych w chmurze obliczeniowej – wszystko to sprawiło, że w stosunkowo krótkim czasie działające na rynku firmy zmuszone zostały dokonać gruntownej reorganizacji metod zarządzania danymi. Proces ten często określany jest transformacją cyfrową.
Czytaj więcej: Przetwarzanie danych – chmura publiczna, prywatna czy hybrydowa?
Wyzwania w przetwarzaniu danych
W największym skrócie chodzi w nim o to, by na swój użytek móc umiejętnie wykorzystać dostępne dane, których w założeniu jest ogrom, których nieustannie przybywa i z których spora część jest nieustrukturyzowana. W tym kontekście Big Data pełni dla gospodarki zasadniczą rolę – odnosi się bowiem do przetwarzania różnego rodzaju wartościowych informacji, które można wykorzystać do osiągnięcia konkretnych celów.
Ilość danych w Big Data liczona jest w gigabajtach a niekiedy nawet w terabajtach. Jasne jest więc, że do efektywnego i bezpiecznego rozporządzania taką ilością danych potrzeba konkretnych umiejętności, technologii, jak i strategii. Dlaczego do bezpiecznego? Choćby dlatego, że na terenie całej UE obowiązują przepisy związane z RODO, a w Big Data mamy przecież często do czynienia z danymi osobowymi i wrażliwymi. Przetwarzanie tego rodzaju informacji wiąże się z bardzo konkretnymi obostrzeniami prawnymi, których naruszenie grozi wysokim karom.
Big Data – trochę historii
Termin Big Data został po raz pierwszy użyty w latach dziewięćdziesiątych przez informatyka John’a Mashey’a. W ten sposób określił on ilość informacji na tyle sporą, że nie można nią w łatwy sposób zarządzać. Z czasem termin Big Data ewoluował, i tak na początku tego wieku określały go trzy atrybuty:
- Volume – ilość danych,
- Variety – różnorodność,
- Velocity – szybkość przetwarzania.
Po kolejnych 10 latach dodano jeszcze dwa inne atrybuty:
- Variability – zmienność
- Complexity – złożoność.
W czym pomaga analiza big data?
Big Data z czasem stawało się coraz bardziej złożonym pojęciem ukazując różnego rodzaju zastosowanie oraz modele pozyskiwania i użytkowania informacji w naukach informatycznych. Obecnie Big Data jest podstawą w działaniu wielu sektorów gospodarki, dla których umiejętność rozporządzania dużą ilością danych bezpośrednio przekłada się na:
- lepszą decyzyjność,
- cięcie kosztów,
- optymalizację działań,
- wyznaczanie kierunków rozwoju,
- umiejętność nabywania elastyczności w działaniu,
- szybkie reagowanie na zmienność oczekiwań klientów.
W jakich sektorach wykorzystuje się big data?
Technologie Big Data najczęściej wdrażane są przez podmioty z sektorów, w których cechą wspólną jest konieczność przetwarzania wielkich zbiorów danych. Sektorem takim jest np. branża finansowa i ubezpieczeniowa, telekomunikacja, ale także różnego rodzaju branże z sektora produkcji czy handlu.
Potencjał zastosowania Big Data jest ogromny, dotyka bowiem tak zasadniczych kwestii jak:
- ocena ryzyka,
- monitorowanie procesów i działalności,
- prognozowanie trendów,
- predykcja zdarzeń i wyników biznesowych czy
- personalizowanie komunikacji w obszarach marketingu i sprzedaży.
A to tylko niektóre z zagadnień. Nie bez powodu metody wykorzystania Big Data (a dokładniej przetwarzania danych) podlegają szeregom regulacji, takich jak np. wspomniane RODO. Warto przypomnieć, że samo wdrożenie RODO w Polsce pociągnęło za sobą konieczność nowelizacji ponad stu ustaw.
Big Data – skala ciągnie rośnie
Dzisiejszy świat charakteryzuje się m.in. tym, że z każdym miesiącem ogólna Ilość gromadzonych i przetwarzanych informacji przez podmioty gospodarcze przyrasta w stopniu wykładniczym. Przybywa źródeł danych i kanałów komunikacji wykorzystywanych na co dzień przez firmy. Intensywny rozwój na tym polu powoduje, że ciągle rośnie zapotrzebowanie na specjalistów od zarządzania danymi, a jednocześnie dostępnych jest coraz więcej technologii wspierających Big Data.
Jak w praktyce działa przetwarzanie tak wielkich ilości danych? Narzędzia do Big Data
Najważniejszym algorytmem stosowanym do sortowania informacji jest MapReduce. Służy on do rozproszenia zbiorów informacji na wiele serwerów porządkujących je i wybierających właściwe elementy zgodne z regułami zapytania. Następnie algorytm gromadzi frazy do postaci wynikowej tak, aby użytkownik otrzymał możliwie dużo wartościowych informacji.
Do ważnych narzędzi wykorzystywanych obecnie w Big Data należą m.in. Avro, Cassandra, Flume, Hadoop, Lucene, Mahout, MongoDB, Neo4j, RapidMiner, Sqoop, Storm czy Terracotta.
Big Data – przykłady zastosowań
Zastosowanie w targetowaniu reklam
Interesującym przykładem zastosowania Big Data są portale społecznościowe, takie jak np. Facebook, które dostosowują wyświetlanie reklam zależnie od preferencji i zainteresowań. Dla przykładu miłośnicy sztuki walki będą częściej widzieć reklamy dotyczące akcesoriów sportowych niż np. osoby zainteresowane programowaniem w C++. Dzieje się tak, ponieważ aktywność użytkowników oraz wyszukiwane przez nich informacje są automatycznie przetwarzane w taki sposób, by w przyszłości na ekranie użytkownika pojawiły się treści potencjalnie najbardziej dla niego interesujące. Dotyczy to oczywiście także reklam, dzięki czemu reklamodawcy mają szansę osiągać lepszą konwersję, a sami użytkownicy w ograniczonej przecież przestrzeni reklamowej nie stykają się z ofertami, które ich nie interesują.
Business Intelligence
Innym zastosowaniem Big Data może być wyszukiwanie informacji ważnych z punktu widzenia decydentów w firmach. Rozwiązania klasy Business Intelligence (BI), których zadaniem jest dostarczanie informacji zarządczej bazują przede wszystkim na systemach dziedzinowych wykorzystywanych w przedsiębiorstwie, niemniej coraz częściej kierownictwo potrzebuje przetworzonych informacji z wielu źródeł zewnętrznych – np. dotyczących trendów konsumenckich czy opinii klientów. W tym przypadku nieodzowne jest przetwarzanie Big Data.
Czytaj także: Narzędzia Business Intelligence