Sadržaj
- Što je arhitektura podataka nove generacije?
- Očekivanja od Hadoopa u kontekstu nove generacije arhitekture
- Koje vrijednosti može Hadoop dodati arhitekturi podataka nove generacije?
- Poboljšane performanse kao Enterprise Enterprise Architecture
- Razlika između Hadoopa i drugih tehnologija
- Zaključak
Izvor: Romeo1232 / Dreamstime.com
Oduzeti:
Hadoop će biti ključni igrač u arhitekturi podataka nove generacije zbog svoje sposobnosti obrade ogromnih količina podataka.
Hadoopov uslužni program počinje nadilaziti veliku obradu podataka i analitiku jer industrija sve više zahtijeva od njega. Hadoop stalno udovoljava različitim zahtjevima koji se odnose na arhitekturu podataka poduzeća, zadržavajući svoje izvorne prednosti. Popis onoga što Hadoop može i trenutno radi prilično je dugačak. Hadoop je sada u mogućnosti obraditi ogromne količine transakcijskog opterećenja, što se ranije očekivalo od tradicionalnih tehnologija. Ako krenemo naprijed, puno je mogućnosti za Hadoop u budućnosti. Na primjer, transakcijski sustavi temeljeni na SQL-u mogu koristiti Hadoop SQL engine, a Hadoop će također dodati puno RDBMS mogućnosti. Možete reći da Hadoop postaje hibrid obrade podataka i analitičkih mogućnosti s mogućnostima arhitekture poduzeća.
Što je arhitektura podataka nove generacije?
Jednostavnije rečeno, arhitektura podataka nove generacije evoluiran je oblik arhitekture podataka. Sve, uključujući modele podataka, politike podataka, pravila i standarde koji reguliraju način prikupljanja, pohranjivanja, uređenja, analiziranja ili obrade, integriranja, korištenja i distribucije podataka, razvilo se u arhitekturi podataka nove generacije.
Glavna razlika između ranije arhitekture podataka i arhitekture podataka nove generacije je njezina sposobnost da u stvarnom vremenu prikuplja, pohranjuje i obrađuje ogromne količine podataka, poznate i kao veliki podaci. Arhitektura obavlja sve ove složene zadatke bez ugrožavanja standarda privatnosti, sigurnosti i upravljanja podacima.
Sljedeća generacija arhitekture podataka suočena je s mnogim izazovima. Nije lako upravljati s volumenom, brzinom i raznolikošću velikih podataka. K tome dodajte zahtjeve za optimizacijom radnog opterećenja sustava, poboljšanje performansi, brzine i točnosti, te smanjenja troškova. Nepotrebno je reći da prethodna arhitektura podataka nije morala upravljati takvim zahtjevima.
Dakle, CIO i informacijski arhitekti žele pronaći rješenje koje će im pomoći da postignu svoje ciljeve. Operativni Hadoop je već neko vrijeme fokusiran na ovaj problem. U sljedećim odjeljcima raspravljat će se o tome kako operativni Hadoop može riješiti probleme.
Očekivanja od Hadoopa u kontekstu nove generacije arhitekture
Tvrtke su pod sve većim pritiskom za postizanje boljih rezultata, a učinci se smanjuju prema očekivanjima tehnologija. Dakle, od Hadoopa se više ne očekuje da obrađuje podatke. CIO i CTO-ovi žele više od Hadoopa. U nastavku je popis očekivanja od Hadoopa. Zapravo, Hadoop je već ispunio nekoliko očekivanja.
Očekuje se da će Hadoop raditi s transakcijskim sustavima koji se temelje na SQL-u i imaju mogućnosti stvaranja, čitanja, ažuriranja i brisanja. Transakcijski sustavi će utjecati na SQL motor. Sustavi će također imati potpunu sukladnost prijenosnog operativnog sustava (POSIX) i mogućnost obrade velikih količina transakcija.
Očekuje se da će Hadoop podržavati značajke kao što su sigurnosna kopija, tolerancija kvarova, oporavak i oporavak od katastrofe. Da bi se Hadoop evoluirao u sustav s RDBMS mogućnostima, on mora biti kompatibilan s postojećim IT alatima.
Hadoop već radi na ispunjenju očekivanja, što je vidljivo iz nekih zbivanja. Hadoop može pružiti analizu u stvarnom vremenu i brze odgovore na temelju podrške za upravljanje resursima koju pruža YARN. YARN je opsežni i distribuirani operativni sustav za velike aplikacije, osim što je upravitelj resursa. Poznato je da se razvijaju i drugi događaji poput Apache Storm, distribuiranih arhitektura u memoriji poput Apache Spark, Apache Hive, Drill i MapR-FS (zamjena visoke performanse HDFS), kako bi ponudili različite mogućnosti baze podataka, poput sigurnosnih kopija, oporavka od katastrofe, tolerancije grešaka itd. (Više o YARN potražite u odjeljku Koje su prednosti okvira Hadoop 2.0 (YARN)?)
Koje vrijednosti može Hadoop dodati arhitekturi podataka nove generacije?
Vrijednosti koje operativni Hadoop može dodati arhitekturi podataka nove generacije mogu se promatrati iz dvije perspektive: jedna ispunjava li gore opisana očekivanja i druga, radi li se o nečemu dodatnom. Dolje su istaknute vrijednosti koje operativni Hadoop može donijeti.
Hadoop je sada u mogućnosti pružiti veću skalabilnost i upravljivost podataka na svojoj platformi putem HDFS-a. A podatkovni operativni sustav omogućen je putem Hadoopovih YARN aplikacija. Ova strategija predstavlja pomak u arhitekturi podataka na temeljnoj razini. Sada, Hadoop može pohraniti različite vrste podataka kao što su transakcijsko orijentirane baze podataka, grafikonske baze podataka i baze podataka dokumentima, a tim podacima može se pristupiti putem YARN aplikacija. Nema potrebe duplicirati ili premještati podatke na druga mjesta.
Poboljšane performanse kao Enterprise Enterprise Architecture
Operativni Hadoop je na putu da postane temeljni sustav arhitekture podataka poduzeća. Kako se Hadoop više angažira u poslovnoj arhitekturi podataka, uklonit će se silosi podataka jer se uklanjaju linije između njih. Gotovo će se poboljšati gotovo u svim aspektima. Poboljšanja će se dogoditi u obliku učinkovitijih formata datoteka, boljih performansi SQL motora, poboljšanih datotečnih sustava i robusnosti koji će udovoljiti potrebama poslovnih aplikacija.
Razlika između Hadoopa i drugih tehnologija
U prošlosti je glavna razlika između Hadoopa i tehnologija podatkovnih poduzeća bila velika sposobnost Hadoopa za obradu podataka, izvještavanje i analitiku. Sada, kako operativni Hadoop sve više postaje dio arhitekture poslovnih podataka, razlika između entiteta postaje sve zamagljivija. Dakle, operativni Hadoop nastaje kao superiorna alternativa postojećoj arhitekturi podataka poduzeća.
Zaključak
S obzirom na očekivanja i napredak, Hadoop će već neko vrijeme biti u fokusu industrije. Ali ima smisla ne previše se fokusirati na Hadoop i jednostavno zanemariti druge tehnologije. To je zato što će druge tehnologije napredovati po istim parametrima i možda će čak i prestići Hadoop. Nikad nije dobro imati monopol na tržištu. Dobro je da proizvođači drugih tehnologija osim Hadoopa mogu biti motivirani za isporuku boljih proizvoda, pa čak i dodataka koji pomažu Hadoop-u u poboljšanju svojih performansi.