Sadržaj
- ETL stvara boce za Analytics
- Pojednostavljivanje ETL-a uz strojno učenje i AI
- Bez grešaka, bez stresa - Vaš korak po korak vodič za stvaranje softvera koji mijenja život bez uništavanja života
Izvor: Pop Nukoonrat / Dreamstime.com
Oduzeti:
Podaci su ključni za poslovanje, ali da bi bili korisni, ne smiju biti pogreške u prikupljanju, obradi i predstavljanju tih podataka. Umjetna inteligencija može nadzirati procese ETL-a kako bi se uvjerilo da nemaju pogreške.
ETL (izdvajanje, pretvaranje i učitavanje) jedan je od najvažnijih procesa u analizi podataka velikih podataka - i istovremeno, to može biti jedno od njegovih najvećih uskih grla. (Više o velikim podacima potražite u 5 korisnih kurseva velikih podataka koje možete preuzeti putem interneta.)
Razlog zašto je ETL toliko važan jest taj što većina podataka koje posao prikuplja nije spremna, u svom sirovom obliku, za analizu analitičkog rješenja. Da bi analitičko rješenje stvorilo uvid, neobrađene podatke potrebno je izvaditi iz aplikacije u kojoj se trenutno nalazi, transformirati u format koji analitički program može pročitati, a zatim učitati u sam program analitike.
Taj je postupak analogan kuhanju. Vaši su sirovi sastojci vaši neobrađeni podaci. Potrebno ih je izvaditi (kupiti u trgovini), transformirati (kuhati), a zatim učitati (posložiti), prije nego što mogu biti analizirani (okusiti). Poteškoća i troškovi mogu se nepredvidljivo povećati - lako je napraviti mak n´ sir za sebe, ali mnogo je teže stvoriti gurmanski jelovnik za 40 ljudi na večeri. Nepotrebno je reći da pogreška u bilo kojem trenutku može vaš obrok učiniti nepristupačnim.
ETL stvara boce za Analytics
ETL je na neki način temelj procesa analitike, ali ima i neke nedostatke. Prije svega, to je sporo i računski skupo. To znači da tvrtke često daju prioritet samo svojim najvažnijim podacima za analizu, a ostatak jednostavno pohranjuju. To doprinosi činjenici da do 99% svih poslovnih podataka ostane neiskorišteno za potrebe analitike.
Pored toga, postupak ETL nikada nije siguran. Pogreške unutar ETL postupka mogu oštetiti vaše podatke. Na primjer, kratka mrežna pogreška može spriječiti ekstrakciju podataka. Ako vaši izvorni podaci sadrže više vrsta datoteka, mogu se pogrešno transformirati. Smeće unutra, smeće van, kako kažu - pogreške tijekom ETL procesa gotovo će se sigurno izraziti u smislu netočne analitike.
Korumpirani ETL postupak može imati loše posljedice. Čak iu najboljem scenariju, vjerojatno ćete morati ponovo pokrenuti ETL, što znači odlaganje sati - a u međuvremenu su vaši donositelji odluka nestrpljivi. U najgorem scenariju, ne primjećujete netočnu analitiku sve dok ne počnete gubiti novac i kupce.
Pojednostavljivanje ETL-a uz strojno učenje i AI
Možete - i vjerojatno to možete - dodijeliti nekome za nadgledanje ETL-a, ali iskreno nije tako jednostavno. Loši podaci mogu nastati zbog procesnih pogrešaka koje se događaju tako brzo da ih se ne može primijetiti u stvarnom vremenu. Rezultati oštećenog ETL postupka često se ne razlikuju od ispravno učitanih podataka. Čak i kad su pogreške očite, problem koji je stvorio pogrešku možda nije tako lako ući u trag. (Da biste saznali više o analizi podataka, pogledajte Uloga posla: Analitičar podataka.)
Dobra vijest je da strojevi mogu uhvatiti ono što ljudi ne mogu. Ovo je samo nekoliko načina na koje AI i strojno učenje mogu uhvatiti ETL pogreške prije nego što se pretvore u netočnu analitiku.
Bez grešaka, bez stresa - Vaš korak po korak vodič za stvaranje softvera koji mijenja život bez uništavanja života
Ne možete poboljšati svoje programiranje kad nikoga nije briga za kvalitetu softvera.
1. Otkrivanje i upozorenje preko ETL metrike
Iako su vaši podaci slika u pokretu, postupak ETL i dalje bi trebao stvarati konzistentne vrijednosti dosljednom brzinom. Kada se te stvari promijene, to je razlog za uzbunu. Ljudi mogu vidjeti velike promjene u podacima i prepoznati pogreške, ali strojno učenje može brže prepoznati suptilnije pogreške. Moguće je da sustav strojnog učenja nudi detekciju anomalije u stvarnom vremenu i izravno upozorava IT odjel, omogućujući im da pauziraju postupak i riješe problem bez potrebe da odbace sate računskog napora.
2. Utvrđivanje specifičnih boca
Čak i ako su vaši rezultati točni, ipak se mogu ispostaviti presporo da bi bili korisni. Gartner to kaže 80% uvida izvedena iz analitike nikada neće biti iskorištena za stvaranje novčane vrijednosti, a to može biti i zbog toga što poslovni vođa ne može vidjeti uvid na vrijeme kako bi je iskoristio. Strojno učenje može vam reći gdje vaš sustav usporava i pružiti vam odgovore - brže dobivanje boljih podataka.
3. Kvantificirajte utjecaj upravljanja promjenama
Sustavi koji proizvode vaše podatke i analitiku nisu statični - stalno primaju zakrpe i nadograđuju. Ponekad to utječe na način na koji proizvode ili interpretiraju podatke - dovodeći do netočnih rezultata. Strojno učenje može označiti rezultate koji su se promijenili i pratiti ih na određenom zakrpljenom stroju ili aplikaciji.
4. Smanjite troškove poslovanja
Zaustavljene analitičke operacije jednake su izgubljenom novcu. Vrijeme koje trošite na pronalaženje ne samo kako riješiti problem nego i tko je odgovoran za rješavanje problema vrijeme je kada možete potrošiti građevinsku vrijednost. Strojno učenje pomaže doći do srži stvari upozoravajući samo timove koji su odgovorni za reagiranje na određene vrste događaja, a ostali IT odjel ostavljaju slobodu da nastave obavljati osnovne zadaće posla. Osim toga, strojno učenje pomoći će u uklanjanju lažnih pozitivnih prikaza, smanjujući ukupni broj upozorenja uz istodobno povećanje preciznosti informacija koje mogu pružiti. Umor upozorenja vrlo je stvaran, pa će ova promjena imati mjerljiv utjecaj na kvalitetu života.
Kada je u pitanju pobjeda u poslu, analitika je presudna. Značajna studija tvrtke Bain Capital pokazuje da kompanije koje koriste analitiku imaju dvostruko veću vjerojatnost da će financijski nadmašiti rezultate. ETL pruža temelj za uspjeh u ovoj areni, ali kašnjenja i pogreške mogu također spriječiti uspjeh analitičkog programa. Strojno učenje, dakle, postaje neprocjenjiv alat za uspjeh bilo kojeg analitičkog programa, pomažući u jamčenju čistih podataka i točnih rezultata.