Sadržaj
- Bez grešaka, bez stresa - Vaš korak po korak vodič za stvaranje softvera koji mijenja život bez uništavanja života
- Dolje na posao
- Kako će Kafka promijeniti upravljanje podacima
Oduzeti:
Kafka će učiniti za informacijske sustave ono što LinkedIn radi za poslovne ljude: držite ih povezane u širokom rasponu.
Vjerujući strastveno u nešto što još ne postoji, mi to stvaramo. Nepostojeće je ono što nismo dovoljno poželjeli.~ Franz Kafka
Nužnost ostaje majkom izuma. Jednom mi je jedan prolazni savjetnik rekao: "Ako se nešto dogodi u nekoj organizaciji, to se i događa." Njegova je poanta bila dvostruka: 1) neki će ljudi uvijek naći način da to postignu; i 2) više rukovodstvo, ili čak srednji menadžment, možda nisu svjesni kako stvari stoje unutar njihove vlastite poslovne jedinice.
Ako tu metaforu proširimo na čitav svemir upravljanja podacima, možemo vidjeti transformaciju koja se upravo događa. Sirovi pritisak velikih podataka, u kombinaciji s osi strujanja podataka, stvara toliki pritisak da se naslijeđeni sustavi ruše po rubovima, ako se ne urušavaju u potpunosti. Bez obzira na to, u ovom trenutku bezbroj profesionalaca radi na svojim poslovima, koji uglavnom nisu svjesni ove stvarnosti.
Poduzeća koja upravljaju podacima imaju sjedište u prvom redu i na mnoge su načine pokretanje ove promjene. Razmislite o tome kako su elektrane poput Yahoo-a i LinkedIn-a okrenule poslovnu industriju softvera bočnim donacijama otvorenim izvorima: Hadoop, Cassandra i sada Kafka, koje je sve pastirala Fondacija Apache, koja je sama središnji igrač u ovoj metamorhfozi ,
Što je rezultat svih ovih promjena? Ono što smo danas svjedočili jest kategorična reklasifikacija i restrukturiranje samog upravljanja podacima. To ne znači da će naslijeđeni sustavi sada biti uklonjeni i zamijenjeni. Bilo koji veteran industrije reći će vam da se rasprodaja naslijeđenih sustava događa na veliko onoliko često koliko Chicago Cubs osvaja World Series. To je, u najmanju ruku, rijedak događaj.
Ono što se stvarno događa je da se super-struktura gradi oko svih starih sustava. Razmotrimo analogiju međudržavnih autocesta koje se često uzdižu iznad gradova i gradova kojima služe, dizajniranih za dopremu ljudi i tereta u te stanovničke centre i omogućavanje izlaska bilo kome i bilo čemu u njima. Ne zamjenjuju postojeće ceste toliko da povećavaju brzinu.
Upravo to čini Apache Kafka: pruža brze rute za kretanje podataka između i između informacijskih sustava. Kako bi slijedili analogiju autoputa, još uvijek postoje mnoge tvrtke koje koriste linearne redove ili stari standard ETL-a (ekstrakt-transformacija-opterećenje); ali ove staze imaju male ograničenja brzine i postoje mnoge rupe; štoviše, troškovi održavanja su često pretjerani; signalizacija je loša.
Kafka nudi alternativnu metodu za dostavu podataka koja je odlučno u realnom vremenu, skalabilan i trajan. To znači da Kafka nije samo vozilo za prijenos podataka, već i replikator podataka; i do određene mjere, tehnologija distribuirane baze podataka. Trebali bismo biti oprezni da predaleko uzmemo analogiju, jer postoje karakteristike baza podataka u skladu s ACID-om koje Kafka još nije bavila. Ipak, promjena je stvarna.
Ovo je sjajna vijest za informativni krajolik, jer se po tom pitanju podaci slobodno kreću o zemlji - i o svijetu. Ono što je nekada bilo bolno ograničenje, naime udaranje šaržernih prozora za ETL procese, sada raste toliko koliko magla daje mjesta čistom nebu pod sjajem vrućeg sunca. Prelazak podataka iz jednog sustava u drugi postaje granično neprimjeren, počinje doba novih prilika.
Bez grešaka, bez stresa - Vaš korak po korak vodič za stvaranje softvera koji mijenja život bez uništavanja života
Ne možete poboljšati svoje programiranje kad nikoga nije briga za kvalitetu softvera.
Ljudska bića će vjerojatno predstavljati najviše trenja na putu prema novijoj budućnosti. Stare navike teško umiru. Nary CIO se previše uzbuđuje zbog veleprodajnih promjena u poslovnim sustavima. Rekao je jedan pametni viši izvršni direktor uloge: "Spremite se biti usamljeni." U roku od godinu dana od tog komentara, bio je savjetnik. To nije lak put, pokušava upravljati nevjerojatno zastrašujućim svijetom podataka o poduzeću.
Dobra vijest je da Kafka pruža novu priliku za budućnost. Budući da služi kao višenamjenski magistralni pogon, stvara mostove između naslijeđenih sustava i njihovih kolegica usmjerenih naprijed. Dakle, organizacije koje prihvaćaju ovu novu priliku otvorenog uma i dovoljno proračuna moći će zakoračiti u novi svijet, bez napuštanja starog. To je ozbiljno velika stvar.
Dolje na posao
Iako je Apache Kafka tehnologija otvorenog koda, besplatna za svako preuzimanje i korištenje, ljudi koji su stvorili ovaj softver za LinkedIn izdvojili su zaseban entitet pod nazivom Confluent, koji se fokusira na jačanje ponude za poslovnu upotrebu. Kao što su Cloudera, Hortonworks i MapR svoj posao gradili oko projekta otvorenog koda Apache Hadoop, pa Confluent pokušava unovčiti Kafku.
U nedavnom intervjuu za InsideAnalysis, izvršni direktor Confluent i suosnivač Jay Kreps objasnio je svoje podrijetlo na LinkedInu:
"Tamo smo pokušali riješiti nekoliko različitih problema. Jedan je bio, imali smo sve te različite podatkovne sustave s različitim vrstama podataka. Imali smo baze podataka i datoteke dnevnika, mjerne podatke o poslužiteljima i korisnike koji su stvari kliknuli. Dobivanje svih tih podataka - kako su postali veliki - bilo je zaista teško. Moć podataka bila je tu samo ako ste ih mogli dobiti u aplikacijama ili obradi ili sustavima koji su im trebali. To je bio veliki problem.
"Drugi problem je bio što smo usvojili Hadoop, i to je nešto u što sam bio uključen. Imali smo ovu fantastičnu izvanmrežnu obradu platformu na kojoj smo mogli razmještati i u koju smo mogli unijeti sve svoje podatke. Za LinkedIn svi su se naši podaci dogodili u stvarnosti Bilo je neprestanog stvaranja podataka. Uvijek je postojala ta neusklađenost dok smo pokušavali da izgradimo ključne dijelove poslovanja iz naših podataka, između nečega što se odvijalo jednom dnevno, možda i noću, i donosilo rezultate do sljedećeg dana, i takve vrste neprekidnih podataka - kratka vremena interakcije - koje ste morali nadoknaditi. Željeli smo napraviti nešto što je neko vrijeme bilo u akademskim krugovima, ali to zapravo nije bila glavna stvar, a to je da se moći dodirnite i obrađujte protoke podataka dok su generirani, a ne dok su sjedili. "
Dobro. Upravo to sada nastoji poduzeti Confluent s podacima poduzeća svih oblika i veličina. Prilika u igri? Greenfield. Iskreno, u čitavoj povijesti poslovnog softvera moglo bi se ustvrditi da adresabilno tržište ove tehnologije apsolutno pogađa. Ne postoji niti jedna velika organizacija ili čak mala mala poduzeća koja ne mogu imati veliku korist od ove tehnologije.
To je posebno istinito zbog neurološkog aspekta ove tehnologije; ne samo upleteni umovi, već i priroda onoga što Kafka čini za informacijske sustave. Budući da se Kafka može koristiti za upravljanje kretanjem podataka u cijeloj organizaciji, na to se može gledati kao na samo kao prometnog policajca, nego na mozak same operacije. Bili su u ranim fazama te vizije, ali budite sigurni da je stvarna.
Kako će Kafka promijeniti upravljanje podacima
Da biste razumjeli kako će Kafka promijeniti prirodu upravljanja podacima, samo razmislite o načinima na koji je LinkedIn promijenio umrežavanje. Pronalaženje kolega postalo je toliko lakše; ostati u kontaktu s ljudima sada je puk. Kafka će učiniti za informacijske sustave ono što LinkedIn radi za poslovne ljude: držite ih povezane na najširem području ove zemlje.
Spinoff Confluent-a je simbol nečega što bismo mogli nazvati Nova inovacija, pokret vođen razdvajanjem razvoja softvera i mentalitetom zatvorenog koda, vođen od strane tvorca tehnologije otvorenog koda, potpomognute velikim količinama rizičnog kapitala koji su unovčili. za profitne tvrtke koje teže revoluciji na način na koji organizacije i ljudi stvaraju, prikupljaju, analiziraju i koriste podatke.
Za citiranje Franza Kafke, "Od određenog trenutka nadalje, nema više povratka nazad. To je točka do koje se mora doći."
Prešli smo Rubicon. Sada se nema nazad.