Sadržaj
Izvor: Nmedia /Dreamstime.com
Oduzeti:
Veliki podaci svugdje su veliki poslovi, ali nekoliko određenih područja najviše koriste ovu tehnologiju.
Kada sam započeo ovaj članak, planirao sam popis različitih vrsta platformi velikih podataka. No, nakon tri dana pokušaja da se sve različite ponude velikih podataka - relacijske nasuprot ne-relacijske, SQL nasuprot NoSQL i baze podataka u odnosu na okvir - dovedu u neki privid reda, odlučio sam izbjeći tu zbrku.
Da bih dodao uvredu ozljedi, nadao sam se kao dio članka predstaviti osobu koja je skovala izraz "veliki podaci". Ali, ja to ni ne mogu. Nema dogovorenog odgovora. Zapravo, postoji cjeloviti istraživački projekt koji istražuje tko je izvorno došao do velikih podataka. Umjesto toga, istražit ću neke ključne načine korištenja velikih podataka. To je daleko važnije. I zanimljivije je i iznenađujuće nego što možda mislite.
Kako se to dogodilo
Analitičari koji koriste tradicionalno vađenje podataka manipuliraju podacima godinama. Ti se isti analitičari sada teško nose s količinom i raznolikošću podataka koje spremaju tvrtke, privatne organizacije i vladine agencije.
Unesite velike podatke, sljedeći evolucijski korak u iskopavanju podataka. Veliki podaci dizajnirani su za obradu ogromnih baza podataka i bezbroj vrsta podataka koje se stvaraju u današnjem digitalnom svijetu. Ako "masovno" razmišljate o Googleu i svim podacima koje prikuplja, bili biste u središtu. Ono što vas može iznenaditi je da je Google tek četvrti na listi deset najvećih svjetskih baza podataka. Od siječnja 2014., Svjetski centar za klimu podataka na vrhu je s 220 terabajta podataka, a nagađa se o veličini baza podataka koje kontroliraju određene vladine agencije.
Naravno, veliki su podaci uzeti jer omogućuju manipulaciju ogromnim količinama različitih podataka i otkrivanje nevjerojatnih - i nevjerojatno detaljnih i osobnih stvari. John Sumser, analitičar HR industrije, pruža sljedeći primjer:
"Danas kreiramo hipoteze i prikupljamo podatke. Sutra ćemo raditi obrnuto. Stalno i stalno nakupljanje podataka omogućit će nam da promatramo podatke prije nego što oblikujemo pitanja. To znači da ćemo dobiti odgovore na pitanja koja nismo postavili." Ne znam pitati. Zapamtit ćemo gomilu stvari za koje pretpostavimo da su činjenice. "Naravno, svi smo čuli za neke jezive načine na koje se ovi podaci koriste, poput cilja Targets-a da prepoznaju trudnoću mlade žene prije nego što njezina obitelj to uopće sazna. Ali veliki se podaci također koriste za mnogo manje zloslutne uzroke. Evo nekoliko organizacija koje to najviše iskorištavaju:
Ne možete poboljšati svoje programiranje kad nikoga nije briga za kvalitetu softvera.
Jedno očito veliko područje podataka koji će pomoći jest sigurno i točno rukovanje elektroničkim zdravstvenim kartonom u medicinskim organizacijama. Točna evidencija pružit će pacijentima bolju uslugu i smanjiti pogreške. Polje zdravstva, iz očitih razloga, sporije prilagođava velike podatke kako bi se udovoljilo vladinim propisima koji se tiču povjerljivosti pacijenata.
Kao što je spomenuto ranije, veliki su podaci poznati po davanju odgovora na neodgovorena pitanja. U području zdravstvene zaštite to može značiti pronalazak novog lijeka ili liječenja koji drugačije ne bi bili pronađeni. Prema McKinsey & Companyu, veliki podaci mogli bi omogućiti sljedeće u ne tako dalekoj budućnosti:
- Prediktivno modeliranje bioloških procesa i lijekova postaje sofisticiranije i raširenije.
- Pacijenti su identificirani za sudjelovanje u kliničkim ispitivanjima na temelju više izvora informacija, poput društvenih medija.
- Suđenja se prate u stvarnom vremenu radi brze identifikacije sigurnosnih ili operativnih problema.
- Umjesto krutih silosa podataka koje je teško iskoristiti, podaci se prikupljaju elektroničkim putem i lako prelaze između različitih jedinica.
Veliki podaci, velika prilika
Iako se veliki podaci iskorištavaju u nekim specifičnim područjima, nude mogućnosti svim organizacijama u sljedećim područjima:
Gotovo o svim računalnim i mrežnim uređajima se bilježe podaci. Količina podataka koja se bilježi brzo postaje neugodna. Veliki podaci lako mogu upravljati tom količinom podataka, omogućujući administratorima da prate mrežne aktivnosti, dijagnosticiraju probleme ili, na primjeru koji mi je dao Rubin, traže određene obrasce mrežnog prometa koji bi ukazivali na aktivnost zlonamjernog softvera.
Ako čitate ovaj članak, prilično je sigurna oklada da ste svjesni problema sa Heartbleed-om koji se tiču OpenSSL-a. Osim tehničkog problema, postoji zabrinutost da ranjivost postoji već nekoliko godina. Rubin je spomenuo da veliki podaci omogućuju mrežnim administratorima, radeći s analitičarima podataka, da naprave program koji će pretraživati sve mrežne zapisnike radi zlonamjernih otkucaja srca. Ovaj EFF post spominje:
"Svi mrežni operatori koji imaju opsežne dnevnike paketa mogu provjeriti ima li zlonamjernih otkucaja srca koji najčešće imaju TCP korisni teret od 18 03 02 00 03 01 ili 18 03 01 00 03 01 (ili možda čak 18 03 03 00 03 01)."Sljedeći je primjer primjer uzorka iz naredbe za reviziju show:
Revizija # show revizije
* 14. rujna 18: 37: 31.535:% AUDIT-1-RUN_VERSION: Hash:
24D98B13B87D106E7E6A7E5D1B3CE0AD Korisnik:
* 14. rujna 18: 37: 31.583:% AUDIT-1-RUN_CONFIG: Hash:
4AC2D776AA6FCA8FD7653CEB8969B695 Korisnik:
* 14. rujna 18: 37: 31.595:% AUDIT-1-STARTUP_CONFIG: Hash:
95DD497B1BB61AB33A629124CBFEC0FC Korisnik:
* 14. rujna 18: 37: 32.107:% AUDIT-1-FILESYSTEM: Hash:
330E7111F2B526F0B850C24ED5774EDE Korisnik:
* 14. rujna 18: 37: 32.107:% AUDIT-1-HARDWARE_CONFIG: Hash:
32F66463DDA802CC9171AF6386663D20 Korisnik:
Ako pratite vremenske oznake, vremenski interval za sve te unose bio je kraći od jedne sekunde. Ne bih htio ni ekstrapolirati to za jedan dan, a kamoli dvije godine!
Nešto za gledati
Ako provjeravate oglase za posao, postoji velika potreba za velikim stručnjacima s podacima. Pitao sam Rubina o ovome. Pristao je, spomenuvši kako su njegovi studenti bili uzbuđeni zbog izgleda. Tada sam shvatio da velike platforme podataka, posebno one koje se smatraju otvorenim kodom, slijede vremenski okvir vrlo sličan načinu na koji je Linux postao mainstream.
Sveučilišta prihvaćaju verzije platformi velikih podataka s otvorenim kodom, posebno Hadoop, jer su besplatne, a studenti mogu manipulirati izvornim kodom. Tako će maturanti koji popune sve te otvorene poslove radije raditi s platformama otvorenog koda, jer to je ono što znaju najbolje. Bit će zanimljivo gledati.