BIG DATA KIHÍVÁSOK
Szerző: SÖRÖS László, rendes egyetemi tanár (laslo.seres@ef.uns.ac.rs), https://orcid.org/0000-0002-3435-2579
Intézmény: Újvidéki Egyetem, Szabadkai Közgazdasági Kar, Gazdasági Informatika Tanszék, Szabadka
Napjainkban az adatok, illetve a bennük rejlő információk olyan fontos erőforrássá váltak, amely az anyagi javakhoz és a humán tőkéhez hasonlítható. A multimédia, a közösségi média, az IoT és a kölönböző digitális platformok fejlődésével az előállított és rendelkezésre álló adatok mennyisége iszonyatos gyorsasággal nő. Az adatok mennyisége, formájának változatossága és létrejöttének gyorsasága olyan méreteket vett, amely messze túlhaladja a hagyományos adatbázisrendszerek képességeit. Minden cégnél eltér, hogy milyen adatmennyiségnél kezdik el a big data használatát. Ez függ a felhasználók képességeitől és a rendelkezésre álló eszközöktől is. Egyeseknél már több száz gigabájt, másoknál csak több száz terabájt esetén van rá szükség. Ahogy a big data-adathalmazok használatának eszközei fejlődnek, úgy a big data jelentése is. A kifejezés egyre inkább a nyers adathalmazokból fejlett elemzési módszerekkel kinyerhető értéket jelenti, és nem egyszerűen sok adatot, bár az elemzést többnyire nagy adathalmazokon szokták végezni. E munka áttekintést nyújt a big data értékláncát képező négy szakasz (adatképzés, adatgyűjtés, adattárolás és adatelemzés) kihívásairól és a rendelkezésre álló infrastrukturális megoldásokról. A munka célja rámutatni arra a tényre, hogy az évek során jelentősen megváltoztak az adatok felhasználási lehetőségei és az ezekkel kapcsolatos elvárások is. Az adattárolás költségének jelentős csökkenése lehetővé tette a tárolt adatok mennyiségének óriási növekedését. Eközben megfigyelhető, hogy bizonyos adattípusok gyorsan gyűlnek és állandó begyűjtést és megfigyelést igényelnek, míg más adatok lassan, de hatalmas tömbökben érkeznek, gyakran több évtized előzményadatai formájában. Előfordulnak összetett elemzési problémák, vagy olyanok, amelyek megoldásához gépi tanulás szükséges. Az ilyen és hasonló kihívások megoldása a big data architektúrák feladatkörébe tartozik.
Kulcsszavak: Big data, Dolgok internetje (IoT), Adattavak, Big data elemzés
BIG DATA CHALLENGES
Author(s): László SÖRÖS, full university professor (laslo.seres@ef.uns.ac.rs), https://orcid.org/0000-0002-3435-2579
Institution: University of Novi Sad, Faculty of Economics in Subotica, Department of Business Informatics, Subotica
Nowadays, data and its informational wealth have become such an important resource that can be compared to material assets and human capital. The arise of multimedia, social media, IoT, and various digital platforms has spurred an exponential surge in the volume of generated and available data. Not only the amount, but the variety and the velocity of data have taken on such dimensions that far exceed the capabilities of traditional database systems. The threshold marking the need for transition to big data utilization varies among companies, depending on user capabilities and tool availability. For some, this may be justified even in the case of handling hundreds of gigabytes, while for others this type of need only occurs in the case of hundreds of terabytes of data. As tools for managing large datasets evolve, so does the concept of big data, increasingly emphasizing the value extracted through advanced analytics rather than sheer data size, although the datasets involved often remain substantial. This survey delineates the challenges across the four phases of the big data value chain – data generation, collection, storage, and analysis – along with available infrastructural solutions. The primary objective is to underscore the significant transformation in the data landscape over time. Both the potential utility of data and associated expectations have evolved markedly. Decreased storage costs have facilitated a rapid increase in stored data volumes. Some data types accumulate swiftly, demanding continual collection and monitoring, while others arrive gradually but in massive increments, often in the form of historical data spanning decades. Whether grappling with advanced analytics or machine learning, big data architectures are designed to address such challenges.
Keywords: Big data, Internet of things, Data Lake, Big data analysis