Naprijed Stvar: Pomicanje relativnog izvan tradicionalnog

Oduzeti: Domaćin Eric Kavanaugh razgovara o inovacijama u tehnologiji baza podataka sa stručnjacima Dez Blanchfield, Robin Bloor i Bertom Scalzo.

Trenutno niste prijavljeni. Prijavite se ili prijavite da biste pogledali videozapis.

Eric Kavanagh: Dame i gospodo, srijeda je, u četiri istočnog vremena. U New Orleansu sam, ljeto dolazi, to znači da je vruće! Vrijeme je za vruće tehnologije, da, zaista, da doista. Moje ime je Eric Kavanagh, bit ću vam domaćin. Vratit ću loptu ovdje vrućim tehnologijama. Danas je tema "Naprijed, zamah: Pomicanje relativnog izvan tradicionalnog." Ljudi, danas imamo tri stručnjaka za bazu podataka, tako da svaka pitanja koja imate, najteža, ne budu stidljiva. Danas smo vam postavili gomilu dobrog sadržaja. Doista postoji spot o vašem, dovoljno o meni. Naravno, ova je godina vruća. U ovom showu govorimo o vrućim tehnologijama, koje je partnerstvo s našim Techopedia prijateljima. I danas idemo skroz do temelja za upravljanje informacijama, što je, naravno, baza podataka. Razgovarat ćemo o tome kako smo došli ovdje, što se događa danas i što se događa naprijed. Mnogo se zanimljivih stvari događa.

Očito imamo ozbiljne inovacije u prostoru baza podataka. Neko je vrijeme bilo mirno; ako razgovarate s nekim analitičarima u poslu, rekao bih vjerojatno iz godine kao što je bila 2005. do 2009. ili '10., činilo se da se previše ne događa u pogledu inovacija.I odjednom je jednostavno izbio, poput bjekstva iz zatvora ili nešto slično, a sada se događaju svakakve zanimljive stvari. Dosta toga je zbog razmjera weba i svih cool web entiteta koji rade različite zanimljive stvari. Odatle je potekao NoSQL koncept. A to znači dvije različite stvari: to ne znači da nema SQL-a, kao što ne podržava SQL, to također znači ne samo SQL. Postoji izraz "NewSQL" koji su neki upotrijebili. No očigledno je da je SQL - strukturirani jezik upita - zapravo temelj, to je osnova upita.

I zanimljivo je da su se svi ti NoSQL motori, što se dogodilo? Pa, izašli su, bilo je puno uzbuđenja zbog toga, a onda, nekoliko godina kasnije, što smo svi počeli čuti? Oh, SQL na Hadoopu. Pa, sve ove tvrtke počele su slati SQL sučelja na svoje NoSQL alate, a svatko tko je u programskom svijetu zna da će to dovesti do nekih izazova i poteškoća, nekih prekriženih žica i tako dalje. Danas ćemo saznati za mnogo toga.

Postoje naša tri izlagača: Dolazio nam je Dez Blanchfield iz Sydneya, našeg vlastitog Robin Bloor-a koji je u Teksasu, kao i Bert Scalzo, koji je također u Teksasu. Prvo ćemo čuti od Dez Blanchfield-a. Ljudi, cvrkut ćemo na hashtagu #HotTech, stoga slobodno upišite svoje komentare ili svoja pitanja putem Q&A komponente konzole za webcast ili čak kroz prozor za chat. A s tim, Dez Blanchfield, oduzmi to.

Dez Blanchfield: Hvala, Eric. Pozdrav svima. Tako da ću pokušati postaviti scenu na 30 000 stopa stopa gledišta što se događalo u posljednjem desetljeću, i značajne pomake koje smo vidjeli - ili barem desetljeće i pol - sustave za upravljanje bazama podataka, te neke utjecaje s komercijalnog ili tehničkog gledišta, te neke trendove koje smo zakasnili i vode nas u razgovor koji ćemo danas voditi oko ove teme.

Moja naslovna slika ovdje je pješčana dina, a s vrha joj puše vjetar. I kao rezultat toga, pješčana dina polako hoda iz jednog prostora u drugi. I nevjerojatna je pojava, u kojoj se ove ogromne planine pijeska visoke 40 i 50 stopa, zapravo, kreću. I oni se kreću vrlo sporo, ali kreću se sigurno, i dok se kreću, mijenjaju krajolik. I prilično je gledati provodeći li uopće vremena na području gdje su pješčane dine prirodna stvar. Jer jednog dana možete pogledati kroz prozor i shvatiti da je ta masivna planina pijeska, sitna sitna zrnca premještena sama od sebe, zapravo i da je vjetar polako prebacuje s jednog mjesta na drugo.

Mislim da je to svijet baznih podataka već dugo vremena. Do vrlo, vrlo nedavno, taj vrlo mali pomak u obliku zrnca pijeska pomiče golemu planinu pijeska u obliku pješčane dine. Tijekom godina došlo je do malih pomaka na platformama baza podataka, a bilo je i prilično stabilno i čvrsto okruženje oko baza podataka i platformi kroz središnji okvir ere srednjeg raspona. Ali od kasno, imali smo dosta značajnih stvari s našim komercijalnim potrebama i našim tehničkim pokretačima. Proći ću kroz njih.

Imam mišljenje da je osnovni koncept baze podataka, kakvu smo poznavali mnogo, mnogo godina, i kao što ste možda čuli na sastanku prije nastupa, naša dva stručnjaka koji su danas nazočni sa mnom imali su cijeli život ovaj prostor i oni su sasvim u pravu u dijeljenju hvalisavih prava postojanja tamo kada je sve počelo ranih 80-ih. Ali vidjeli smo ovaj ogroman pomak u posljednjem desetljeću i pomalo, i brzo ću nas provesti prije nego što ga predam dr. Robinu Blooru.

Mi smo prošli kroz ono što ja zovem, "veće, bolje, brže, jeftinije" iskustvo. Kao što rekoh, definicija baze podataka se promijenila. Krajolik u kojem su platforme baze podataka morale odgovoriti na performanse, kao i tehnički i komercijalni zahtjevi. Vidjeli smo ovo povećanje potražnje rješenja koja će se baviti bilo složenijim komercijalnim ili složenijim tehničkim zahtjevima. I tako brzo pregledati što to zapravo znači, po mom umu, je da smo se nekako postavili 90-ih, i vidjeli smo tehnologiju baze podataka pod utjecajem uvođenja interneta, i neku vrstu onoga što smo tada zvali internet razmjera. Nismo govorili samo o ljudima koji sjede ispred terminala, izvorno poput terminala za teleletype s ugrađenim fizičkim prozorima i 132 stupca koji izlaze u papir. Potom rani zeleni zaslonski terminali, probijanje tipkovnicama.

Ali znate, naš svijet su dugo vremena bili terminali i serijski kabeli ili mrežni kablovi koji su razgovarali s računalima. Zatim je došao internet i taj eksplozivni rast povezanosti, da ga više ne morate uključivati ​​u računalo. Da biste došli do sustava baza podataka, samo vam je trebao web preglednik. Dakle, tehnologija baze podataka morala se dramatično promijeniti, baviti se opsegom svega, od osnovnih tehnologija tražilice koje su se koristile za indeksiranje svijeta, i spremiti indeks informacija, na primjeru skale formata baze podataka. A ljudi poput Googlea i drugih pružili su platformu za to. Izrađene su sve nove vrste podataka za pohranu i upita i indeksiranje. A onda smo imali i stranice za glazbu i stranice s filmovima.

A onda smo u 2000-ima vidjeli dot-com bum, što je dovelo do još dramatičnije eksplozije u broju ljudi koji koriste sustave koji su nepromijenjeno pogonjeni nekom bazom podataka. U ovoj fazi, relacijske baze podataka još uvijek su bile podnesene s većim dijelom, samo smo ih stavili na veći lim i nekako smo otišli u vrlo, vrlo, velike sustave srednjeg raspona koji pokreću Unix platforme od ljudi poput IBM-a i Sun-a itd. , Dot-com boom stvari su samo povećale i brže sa stanovišta hardvera, performansi, a bilo je i značajnih promjena u motorima baza podataka, ali u boljem dijelu, to je bila ista stvar koju smo vidjeli za Dugo vrijeme.

I tada smo dobili ovo doba web 2.0, kako ga nazivamo. A ovo je bio monstruozni pomak, jer odjednom su nam bile potrebne puno jednostavnije platforme baza podataka, a morao je postojati mjerilo u vodoravnom obliku. A to je bio tako značajan pomak u načinu na koji smo pristupili ideji što je baza podataka. Po mom se mišljenju i dalje stvarno nadoknađujemo. I sada se bavimo cijelom ovom groznicom i kažem da s pozitivnom zavrtanjem, a ne s negativnom konotacijom, ovom groznicom onoga što nazivamo velikim podacima i ogromnom eksplozijom, a mislim i eksplozijom. To je nevjerojatno pomicanje okomito na grafikonu broja opcija koje imamo kada govorimo o bazi podataka i nekom obliku mogućnosti relacijskog upita.

I zanimljivo je da osobno smatram da mislim da su veliki podaci zapravo samo vrh ledenog brijega. Čini se da smo malo uzbuđeni zbog utjecaja velikih podataka i vrsta izbora koji su nam sada dostupni. Imamo sve od NoSQL motora, imamo grafičke motore, imamo sve ove različite vrste platformi na koje možemo bacati podatke i raditi s njima. Čak i do točke u kojoj sam, zapravo, jedan od prvih razgovora s Ericom Kavanaghom, koji je danas ovdje s nama, bio oko razgovora koji se odnosio na stvar koja se zove Apache Drill, a koji je projekt otvorenog koda koji vam omogućuje postavljanje upita Podaci unutar modela različite vrste podataka: sve od neobrađenih CSE datoteka koje sjede na tvrdom disku, pa sve do HDFS datotečnih sustava na petabajtnoj skali. I znate, to vam omogućuje da radite ove SQL stilove upita strukturiranih i nestrukturiranih podataka svih vrsta uzbudljivih biljaka.

Vidjet ćemo da će „pametna zgrada“ postati stvar i željeli bismo pomisliti da imamo pametne zgrade za sigurnost i upravljanje toplinom, ali govorim o pametnim zgradama koje znaju puno više o tome tko ste i gdje ste kad ušetate i radite sve vrste urednih stvari na toj razini, do pametnih gradova - čitavih ekosustava na razini grada - koji znaju pametno raditi stvari. A osim toga, imamo nevjerojatnu stvar za koju mislim da nitko u svijetu nije shvaćen u potpunosti, a to je oblik Interneta stvari. Došlo je do svih ovih različitih promjena u posljednjem desetljeću i pomalo, možda dva desetljeća otprilike, ako to zaokružimo, koje su po mom mišljenju samo utjecale na svijet onoga što smatramo bazama podataka.

Nekoliko je značajnih stvari koje su ovo omogućile. Trošak tvrdih diskova drastično je opao i na mnogo načina to je omogućilo pokretanje nekih referentnih arhitektura poput modela Hadoop, jer uzimamo puno podataka i širimo ih na puno tvrdih diskova, a činite pametne stvari s tim. Zapravo, ono što je po mojem mišljenju postalo izoštrenije od relacijske baze podataka ili tradicionalnog modela DB jedinica. A RAM je postao vrlo, vrlo jeftin, a to nam je pružilo potpuno novu priliku za igru ​​sa različitim referentnim arhitekturama kao što je memorija i raditi stvari poput podjele vrlo, jako velikih grupica podataka.

Tako smo dobili malu sliku koju sada gledamo, a to je dijagram koji prikazuje vrste platformi koje su dostupne ako se nalazite na velikim podacima. I to je vrlo, vrlo teško pročitati, a razlog za to, na to postoji previše podataka. Postoji toliko mnogo mogućnosti za izradu, modeliranje i izradu načina stavljanja podataka u sustave baza podataka bilo kojeg oblika i upite u njih, kao i tradicionalno čitanje-pisanje. I nisu svi sukladni, zapravo vrlo mali broj njih čak udovoljava bilo kojem osnovnom standardu stila, ali još uvijek sebe smatraju bazom podataka. Pokazat ću vam nekoliko ekrana u sekundi kako bih vam dao određeni smisao oko onoga što mislim pomjeranjem s 90-ih i internetske ljestvice na web 2.0, a zatim cijeli rast putem velikih podataka. Ako mislimo da je ovaj krajobrazni grafikon velike podatkovne tehnologije uzbudljiv jer postoji puno mogućnosti na njemu, pogledajmo jednu ključnu vertikalu.

Pogledajmo marketinšku tehnologiju. Ovdje su mogućnosti za sustave upravljanja bazama podataka ili za upravljanje podacima unutar samo mar-tech prostora, tako da je tehnologija povezana s marketingom. Sad je to bilo 2011. godine, dakle prije nekoliko godina; prije pet godina, tako je izgledao krajolik. Ako se samo nakratko vratim na jedan slajd, tako izgleda današnji krajolik podataka u različitim markama i ponudama koje imamo u tehnologijama baza podataka. Ovako je izgledala jedna vertikala prije pet godina, upravo u marketinškoj tehnologiji.

Ako pređem na današnji pogled, tako to izgleda, a to je potpuno neprobojno. To je samo ovaj zid marki i opcija, a tisuće i tisuće kombinacija softvera za koji se smatra da je u klasi baze podataka, mogu snimiti, stvoriti ili pohraniti i dohvatiti podatke u različitim oblicima. I mislim da sada ulazimo u vrlo, vrlo zanimljivo i hrabro vrijeme, u kojem ste nekad da ste znali glavne marke, mogli znati pet ili šest različitih platformi od Oracle i Informix, DB2 i tako dalje, i biti gotovo stručnjak za sve marke koje su bile dostupne prije nekih 20 godina. Prije deset godina postalo je malo lakše jer su neke marke otpale, a nisu se sve marke mogle nositi s mjerilima dot-com buma, a neke tvrtke su se tek pokvarile.

Danas je apsolutno nemoguće biti stručnjak za svu tehnologiju baza podataka koja postoji, bilo da se radi o relacijskim bazama podataka ili standardnim platformama za upravljanje bazama kakvu poznajemo u posljednjih nekoliko desetljeća. Ili je vjerojatno slučaj, modernijih motora poput Neo4ja i onih tipova. I zato mislim da ulazimo u vrlo hrabar svijet gdje je na raspolaganju mnogo opcija, a mi imamo platforme u razmjeru na vodoravnoj osnovi, bilo u memoriji ili na disku sada. Ali mislim da je izazovno vrijeme za donositelje tehnologija i poslovnih odluka, jer oni trebaju donijeti neke vrlo velike odluke o tehnološkom paketu, koje su u nekim slučajevima već samo mjesecima. Osamnaest mjeseci nije zastrašujući broj za neke od uzbudljivijih i novih platformi otvorenih koda. I počinju spajati platforme i postaju još noviji i uzbudljiviji.

Mislim da ćemo danas imati sjajan razgovor o tome kako je sve to utjecalo na tradicionalne platforme baza podataka i kako reagiraju na njih, te vrste tehnologija koje se na to bacaju. Imajući to na umu, preći ću sada doktoru Robinu Blooru i dobiti njegov uvid. Robin, do tebe.

Robin Bloor: Ok, hvala na tome. Da, ovo je previše velika tema. Mislim, ako ste upravo uzeli klizač jedne od ilustracija koje vam je Dez upravo pokazao, mogli biste razgovarati o jednom od klizača. Ali znate, možete ići u bazu podataka - Gledam baze podataka, ne znam još od 1980-ih, a bazu podataka možete gledati na različite načine. I jedna od stvari za koju sam pomislio da ću to učiniti, danas se bavim razgovorom, bio je razgovor o razlogu koji su se destruktivne stvari dogodile na razini hardvera. I morate imati na umu, grozno puno motećih stvari se zapravo dogodilo i na razini softvera, tako da ovo nije cjelovita slika ničega, ovo je samo hardverska stvar.

Nisam ni htio razgovarati posebno dugo, samo sam vam htio dati sliku hardvera. Baza podataka bila je mogućnost dohvaćanja podataka koja obuhvaća CPU, memoriju i disk, a to se drastično mijenja. A razlog zašto to kažem bio je taj što sam naučio shvatiti bazu podataka iz perspektive onoga što vi zapravo radite. Znate, postoji razlika u kašnjenju između podataka koji se zapravo nalaze na CPU-u i podataka koji se u CPU uvlače iz memorije i podataka koji se izvlače s diska u memoriju i kroz CPU. A stare arhitekture baza podataka samo su to pokušavale uravnotežiti. Znate, samo su govorili, "Pa, ovo ide vrlo sporo, keširat ćemo podatke na disk tako da budu u sjećanju. Pokušat ćemo to učiniti na vrlo točan način, tako da se stvarno dobar udio podataka koje tražimo već nalazi u sjećanju. A podatke ćemo pohraniti u procesor onoliko brzo koliko zapravo možemo. "

A baze podataka pisane su u davna vremena, a strojevi su pisani za male skupine. A sada, zbog neznalice paralelizma. Jer ako ćete nekoga izvesti iz klastera, morat ćete paralelno raditi razne stvari. Paralelizam je dio igre, ništa slično kao sada. Samo ću proći kroz ono što se dogodilo.

Prije svega, disk. Pa, disk je gotovo, stvarno. Poprilično je gotovo što se tiče baza podataka. Mislim da postoji veliki broj nedostataka u arhiviranju podataka, pa čak i vrlo velika podatkovna jezera koja se vrše na Hadoopu, a trenutno je najgori disk koji se vrti. Stvarno, problem s okretnim diskom bio je što se brzine čitanja nisu osobito poboljšale. A kad je procesor porastao Moore-ove zakonske brzine, vrsta reda, brže svakih šest godina. I sjećanje je nekako bilo u slijedu, tada su ta dvojica razumno držala korak s drugima, nije bilo posve glatko, ali jesu.

Ali slučajno čitanje na disk gdje glava leti oko diska, mislim, osim svega ostalog, to je fizički pokret. A ako radite slučajno čitanje s diska, to je nevjerojatno sporo u odnosu na čitanje iz memorije, to je poput 100.000 puta sporije. A odnedavno je većina arhitektura baza podataka koje sam gledao u bilo kojoj dubini zapravo tek serijski čitanje s diskova. Zaista želite, na ovaj ili onaj način, samo sačuvati predmemoriju sa diska i izvući ga s tog sporog uređaja i staviti ga na brzi uređaj. I možete napraviti puno pametnih stvari s tim, ali sve je gotovo.

A solid-state diskovi ili flash diskovi, stvarno je ono što jesu, vrlo brzo zamjenjuju vrti disk. I to se opet potpuno mijenja, jer je način na koji su podaci organizirani na disku, organiziran prema načinu na koji disk radi. Riječ je zapravo o glavi koja se kreće po površini koja se vrti, zapravo više glava koje se kreću po više površina predenja i skupljanju podataka dok idu. SSD pogon je samo blok stvari koje možete pročitati. Mislim, prvo je da su sve tradicionalne baze podataka napravljene za predenje diska i one su sada redizajnirane za SSD. Nove baze podataka mogu vjerojatno - svatko tko trenutno piše novu bazu podataka vjerojatno može ignorirati vrti disk, uopće ne razmišljati o tome. No, Samsung, glavni proizvođač SSD-ova, govori nam da su SSD-ovi zapravo na krivulji Mooreovog zakona.

Bili su već oko tri ili četiri puta brži od okretanja diska, ali sada će postati brži svakih 18 mjeseci. Dvostruko brži, a 10 puta brži do oko šest godina. Da je to bio samo to, to nije to, kao što ću vam reći za trenutak. Okretni disk naravno postaje medij za arhiviranje.

O sjećanju. Prvo stvari, RAM. Omjer CPU-a između RAM-a po CPU-u stalno raste. I to, naravno, na neki način donosi puno više brzine, jer hektari memorije koje sada možete imati možete pohraniti puno više. Ovo se zapravo događa je da smanjuje pritisak na MLTP vrste aplikacija ili slučajno pročitane aplikacije, jer je njima lakše dostaviti ih, jer sada imate puno memorije i na taj način možete keširati sve što je vjerojatno će se pročitati u sjećanju. Ali naiđete na probleme s većom gomilom podataka, tako da veliki podaci zapravo nisu tako jednostavni.

I tada imamo Intel s 3D Xpointom, a IBM s onim što nazivaju PCM, što je memorija za fazne promjene, isporučuje nešto za što vjeruju da je - dobro, to je barem 10 puta brže od postojećih SSD-ova i vjeruju da će dobiti vrlo blizu istoj brzini kao i RAM-a. I naravno da je manje skupo. Prije ste imali tu strukturu baze podataka procesora, memorije i diska, a sada se krećemo prema strukturi koja ima četiri sloja. Ima CPU, memoriju ili RAM, a onda takvu memoriju brže od SSD-a, koja je zapravo nehlapljiva, a zatim i SSD. A ove nove tehnologije su neisparljive.

A tu je i HP-ov memoritor, što još nije, znate, jer je objavljen prije oko sedam godina, ali još se nije pojavio. Ali glasine koje čujem su da će HP također malo promijeniti igru ​​memorialom, tako da imate tek novu situaciju pamćenja. To nije kao da imamo brže stvari, to je kao da imamo potpuno novi sloj. I tada imamo činjenicu da SSD pristup možete paralelno čitati. Ne možete paralelno čitati spinning disk, osim što imate mnogo različitih zavrtljivih diskova. Ali blok SSD-a, možete paralelno čitati. A budući da to možete paralelno čitati, to ide mnogo brže od njegovih jednostavnih brzina čitanja, ako zapravo postavite više postupaka kroz različite procese na jednom CPU-u i jednostavno imate na njemu SSD.

Procjenjuje se da možete postići gotovo brzinu RAM-a. A sve što ovo govori jest da je budućnost memorijske arhitekture nejasna. Hoću reći, stvarnost je da će različiti dominantni dobavljači, bez obzira za koga se ispostavili, vjerojatno odrediti smjer hardvera. Ali nitko ne zna kuda ide u ovom trenutku. Razgovarao sam s nekim inženjerima baza podataka koji kažu: "Ne bojim se onoga što se događa", ali oni ne znaju kako to optimizirati u startu. Uvijek ste takvi, tako da je zanimljivo.

A tu je i CPU. Pa, višejezgreni CPU nisu bili samo višejedni CPU-i. Imamo i značajnu količinu predmemorije L1, L2 i L3, posebno L3, koja je do, ne znam, desetina megabajta. Možete puno staviti tamo, znate. Stoga, zapravo možete koristiti čip kao sredstvo za spremanje podataka. Dakle, to je promijenilo igru. I zasigurno, vektorska obrada i kompresija podataka to su učinili mnogi dobavljači, koji su te stvari povukli na CPU kako bi sve prošlo puno brže na CPU-u. Tada dobijate činjenicu da su, dobro, CPU-i s GPU-om zaista dobri u ubrzavanju analitike. I stvarno su dobri u određenim vrstama upita, samo ovisi o vašem upitu.

Možete kreirati ploče s CPU-om i GPU-om ili, kao što AMD to trenutno radi, vi proizvodite nešto što se zove APU, što je vrsta braka CPU-a i GPU-a; ima obje vrste mogućnosti na njemu. To je drugačija vrsta procesora. I onda nedavna najava Intela da će staviti FPGA na čip, to mi je i ušlo u glavu. Mislio sam: "Kako će se to dogoditi?" Jer ako imaš mogućnost CPU-a, GPU-a, a vi imate mogućnost CPU-a, FPGA - i usput, ako to stvarno želite, na istu biste ploču mogli staviti i CPU, i GPU, i FPGA. Nemam pojma kako biste zapravo nešto pokrenuli na taj način, ali znam za tvrtke koje rade takve stvari i dobijaju vrlo, vrlo brze odgovore na upit. Ovo se neće ignorirati, ovo će nešto što će iskoristiti uveljavljeni dobavljači, a možda će doći i novi dobavljači. DBMS-ovi su uvijek bili paralelni, ali sada su paralelne mogućnosti upravo eksplodirale, jer vam to omogućuje da paralelno usporedite to, s onim, s onim na različite načine.

Konačno, da povećate ili povećate broj? Skaliranje je zaista najbolje rješenje, ali za jednu stvar. Dobivate daleko bolje performanse čvora ako možete apsolutno optimizirati performanse CPU-a i memorije na disku na jednom čvoru. A vi ćete koristiti manje čvorova tako da će to biti jeftinije, zar ne? I bit će lakše upravljati. Nažalost, dizajn ovisi o hardveru, a kako se hardver mijenja, to je sve manje i manje moguće, osim ako vaši inženjeri neće moći pokretati onoliko brzo koliko se hardver mijenja. I vi imate problema s radnim opterećenjem, jer kada povećavate skali, dajete razne pretpostavke o tome što radno opterećenje trebate obaviti.

Ako skalirate, to jest, ako vaša arhitektura naglašava ljestvicu prije nego što povećate veličinu - zapravo morate to učiniti oba, samo ćete naglasiti jedno. Tada ćete dobiti bolje performanse mreže jer će se arhitektura time baviti. To će biti skuplje u hardverskom pogledu jer će biti više čvorova, ali bit će manje problema s radnim opterećenjem i bit će fleksibilniji dizajn.

I samo sam mislio da ću to ubaciti, jer ako zapravo pomislite na sve izmjene hardvera, samo sam prstom uperio u sebe, a onda ste razmislili, kako ćete povećati i povećati razmjere na tim stvarima? Tada shvaćate da su, prema mom mišljenju, inženjeri baza podataka barem premalo plaćeni. Dakle, ako samo razmišljate o hardverskom sloju, izazovi u bazi podataka su jasni. Sada to prenosim Bertu, koji će učiniti da se svi osjećamo obrazovanim.

Eric Kavanagh: To je to! Bert?

Bert Scalzo: Hvala vam puno. Dopustite mi da odmah uđem u ove slajdove. Moram proći puno dijapozitiva, tako da na dosta njih mogu brzo proći. Govorit ćemo o ovom "Naprijed Naprijed: pomicanje relativnog izvan tradicionalnog." To više nije baza vašeg oca Stvari su se promijenile, a kako je jedan raniji govornik rekao, posljednjih šest do sedam godina krajolik se radikalno promijenio.

Osobno, bavim se bazama podataka od sredine 80-ih. Napisao sam knjige na Oracle, SQL Serveru, benchmarking i još nekoliko drugih stvari. „Svijet se mijenja vrlo brzo. Veliki više neće pobijediti male. Brzo će se pobijediti sporo. "Dodao sam" za prilagodbu. "To je bilo od Ruperta Murdocha. Doista vjerujem da će to biti istina. Nećete biti u mogućnosti baviti se bazama podataka kao što ste to činili prije 10, 15, 20 godina. Morat ćete to raditi onako kako posao želi sada.

Pokušat ću ostati malo općenit u onome što predstavljam, ali većinu funkcija o kojima govorim pronaći ćete u Oracleu, naći ćete u SQL Serveru, MySQL-u, MariaDB-u i nekim drugim velikim igrača. Revolucija relacijske baze, nekako se opet slažem s prethodnim govornicima. Ako pogledate kako treba oko 2010., iz crvenog trkačkog vozila prešli smo u žuti trkački automobil. Došlo je do značajne promjene, a 2020. godine, vjerujem da ćete vidjeti još jednu radikalnu promjenu. U vrlo smo zanimljivom vremenu.

Sada je ovaj slajd ključan i zato sam tamo stavio ključ. Sve se ove promjene događaju, a na lijevoj strani imam tehnologiju, a na desnoj imam posla. A pitanje je: tko to uzrokuje, a koji podržava? Izmjene hardvera su sve: diskovi se smanjuju, povećava se veličina diska, nove vrste diskova, tako da su to pokrili i raniji zvučnici. Cijena pada memorije, sve ove novije verzije baza podataka. Ali na desnoj strani imamo zaštitu podataka i poštivanje podataka, skladištenje podataka, poslovnu inteligenciju, analitiku, obavezno čuvanje podataka. Obje strane jednadžbe su pokretačke, a obje strane jednadžbe će iskoristiti sve ove nove značajke.

Prije svega, imamo svoj tipični SAS vrti disk, sada imaju do 10 terabajta. Ako niste vidjeli, Western Digital, HGST ima njihov naziv helijumski pogon, koji dostiže oko 10 terabajta trenutno. Troškovi okretnog diska postaju prilično niski. Kao što je spomenuto ranije, možete nabaviti SSD diskove do oko dva terabajta, ali Samsung uskoro ima 20-terabajtnu jedinicu. Troškovi postaju razumni. Jedna stvar o kojoj ću govoriti o drugima koja nije bila je koncept flash diskova. PCIe, to je PCI Express, nasuprot NVMe, vi ste svibanj ili niste čuli za ovaj, neisparljivi memorijski izraz. U osnovi, NVMe će biti zamjena za SAS i SATA, a zapravo je više komunikacijski protokol nego bilo što drugo. Ali ti diskovi sada koštaju oko tri terabajta.

Možda ste vidjeli i da neki SAS pogoni sada dolaze s U.2 konektorima, što je vrsta koja se razlikuje od one SAS ili SATA, a koji podržava NVMe sa standardnim diskom - disk također mora podržavati i njega. A onda SATA s M.2 priključcima, a oni počinju dobivati ​​NVMe. U stvari, postoje prodavači prijenosnih računala koji sada prodaju prijenosna računala s NVMe flash diskom. Te će stvari vrisnuti u usporedbi s tehnologijom koju ste prije koristili.

Puno ljudi ne zna što su sve te različite bljeskalice. Ako pogledate u donjem desnom kutu, to je primjer M.2. Možda ćete reći, "Pa dušo, to liči na mSATA pogon s lijeve strane." Ali kao što vidite, ima dva pukotina u odnosu na jednu, a malo je veća. Također, M.2 se može isporučiti u tri različite veličine.

A zatim bljeskalica PCI Express i NVMe bljeskalica. Sada je NVMe bljeskalica također PCI Express, ali PCI Express je obično još uvijek algoritam regulatora tipa SAS ili SATA koji je napisan za predenje diska, a NVMe algoritmi ili tehnike koji su posebno napisani za flash. I opet, vidjet ćete sve to.

NVMe nudi prilično puno stvari. Mislim da su dva najveća poboljšanja, u gornjem desnom kutu, latencija je smanjena za čak 70 posto. Zapravo sam vidio čak i više od toga. Osim toga, ako pogledate u donjem desnom kutu, kada vaš operativni sustav razgovara s NVMe diskom, proći će kroz znatno manje razine softvera. U osnovi prolazite NVMe upravljački program koji je sada uključen u operativni sustav i on razgovara izravno s medijima. Postoji puno razloga zbog kojih će ova tehnologija radikalno promijeniti svijet baza podataka.

I puno puta će ljudi reći, „Pa, koliko je brz NVMe?“ Znate, dobri stari dani, 2004. i prije, bili smo uzbuđeni ako smo imali Ultra-320 SCSI, 300 megabajta u sekundi. Današnje brzine, mnogi od vas su vjerojatno na vlaknima ili InfiniBandu, a takvi se najviše razlikuju. NVMe tamo s desne strane, započinje tamo gdje završavaju trenutne tehnologije. Ono čime se bavim jest da PCI Express 3.0 s osmerostrukom vezom kreće od gotovo 8000, a nastavit će se s pojačavanjem novijih verzija PCI Express-a, verzije četiri i tako dalje. NVMe nema kamo osim gore.

E sad, koje se neke stvari mijenjaju u bazi podataka? Sada u gornji desni kut mojih dijapozitiva navodim poslovne razloge zbog kojih mislim da se pojavila tehnologija. U ovom slučaju, zbog skladištenja podataka i zbog regulatornih razloga obveznog čuvanja podataka, baze podataka u njima počinju stvarati kompresiju. Sad, neke baze podataka nude kompresiju kao dodatak, neke nude ugrađenu u standardnu, recimo poslovnu verziju svoje baze podataka, a neke bi baze podataka, poput Oraclea, mogle imati čak i bolju verziju kompresije koja je na primjer, njihovu platformu Exadata, tako da su zapravo izgradili hardver koji može podržati vrlo specijaliziranu kompresiju i onaj u Exadata, na primjer, dobije 40x stopu kompresije, tako da je vrlo značajan. I mislim da je to obavezno čuvanje podataka, ljudi samo žele podatke duže. Tvrtke da bi radile analitiku i BI im trebaju podatke u zadnjih 5, 10, 15 godina.

Sada je još jedna značajka koja se počela pojavljivati ​​oko tog razdoblja 2008., 2009. bila podjela. Ponovno ćete to pronaći u bazama podataka kao što su Oracle, SQL Server i u obje te aplikacije koje morate platiti. U Oracleu morate kupiti opciju particije, a u SQL Serveru morate biti na izdanju podatkovnog centra. To je vaša tradicionalna tehnika razdvajanja i osvajanja, a ono što radite je da imate koncept logičnog velikog stola na vrhu i kad se stavi na disk, zapravo se rastavlja na kante. Možete vidjeti da su te skupine organizirane prema nekim kriterijima za razdvajanje, obično se pozivaju na vašu particionu funkciju ili se nazivaju njima, a onda na isti način možete pododjeljivati ​​i na nekim platformama baze podataka te možete ići još dalje.

Opet mislim da su skladištenje podataka i obavezno čuvanje podataka to potaknuli, a u nekim od tih baza podataka možete imati do 64.000 particija, a vjerujem da u nekim drugim bazama podataka čak i do 64.000 pod-particija. To vam omogućuje da podijelite svoje podatke u dijelove koji se mogu lako upravljati. Također ćete podijeliti indekse; to je opcija, ne morate, ali možete dijeliti i svoje indekse. Jedan od razloga za to bi mogao biti taj što imate klizni prozor podataka. Želite zadržati podatke vrijedne 10 godina, ali da biste spustili indekse da bi se pokrenulo večerašnje skupno opterećenje, ne želite da ispustate indekse na svaki red, samo na redove koji su u trenutnom nizu. Particioniranje je zapravo vrlo dobar administrativni alat iako većina ljudi misli da je njegova velika prednost odustajanje od uklanjanja particija u vašim planovima i samim tim ubrzavanje upita. To je stvarno vrsta glazure na torti.

Sada ste vjerojatno čuli za izoštravanje i vjerojatno mislite: "Pa, zašto ste stavili ovaj slajd ovdje?" Ovo je jedno od onih NoSQL - ovo je jedno od takvih okruženja tipa Hadoop. Oracle 12c objavio je dva, što još nije G8, ali koja se prikazuje ili pregledava, zapravo ima oštrinu u sebi. Imat ćete tradicionalni sustav baza podataka kao što je Oracle i moći ćete ga dijeliti kao u Hadoop modelu, i zato ćete imati drugu tehniku ​​razdvajanja i osvajanja koja će podijeliti vaš tablice prema redoslijedu u grupiranje po čvoru i to će biti - baš kao i ono što vidite u nekim od vaših NoSQL baza podataka. A zapravo MySQL, to možete uistinu postići pomoću jedne od njihovih tehnika klasteriranja, ali dolazi do tradicionalne baze podataka i pretpostavljam da Microsoft neće htjeti ostaviti za sobom. Ove dvije cijele godine igraju skakutajuću žabu, pa bih očekivao da ću vidjeti spuštanje možda u sljedećoj verziji SQL Servera.

Upravljanje životnim ciklusom podataka, opet obvezno čuvanje podataka, ali i za poslovnu inteligenciju i analitiku. Stvarno, ovo je tehnika 'podijeli i osvojij', a tipično DBA-ovi to rade ručno, a to je: '' Ja ću čuvati ovogodišnje podatke na brzim diskovima, prošlogodišnje podatke na malo sporijim diskovima, možda idem zadržati posljednje dvije godine prije toga na još sporijim diskovima i tada ću imati neku arhivsku metodu. "Obično više nije snimljena, obično je - imate neku mrežnu pohranu ili neki uređaj koji ima puno skladištenja i, znate, isplativo je, no još uvijek se vrti disk.

Tako sada zapravo - i na Oracleu i na SQL Serveru - možete kupiti opciju gdje definirate pravila i to se automatski automatski događa u pozadini. Ne morate više pisati skripte, ne morate ništa raditi. A ako ste vidjeli SQL Server 2016, koji je upravo izašao prvi lipnja, tu je nova značajka koja se zove „Stretch Databases“ koja vam u osnovi omogućuje - u donjem desnom kutu - možete se preseliti iz više slojeva izravno u oblak i opet je ovo značajka ugrađena u bazu podataka, samo kažete: "Ako su podaci stari više od 365 dana, molim vas premjestite ih u oblak i, znate, napravite to automatski za mene."

Ovo će biti stvarno cool značajka, zapravo mislim da bi to moglo biti ono što ćemo vidjeti u budućnosti, a to je da ćete imati hibridne baze podataka u kojima ćete zadržati neke lokalne a neki u oblaku. Prije toga ljudi su razmišljali: "Oh, ili ću raditi u pretpostavci ili ću raditi u oblaku." Sada vidimo brak dviju tehnologija na ovaj hibridni način. Mislim da će ovo biti prilično veliko i Microsoft je tamo stigao prvi.

Redakcija, to je zbog zaštite podataka i poštivanja. Sada bi u starim dobrim vremenima mogli reći: "Hej, programer aplikacija, kad ovo prikazujete u izvješću, kad ovo prikazujete na zaslonu, ovdje su neke sigurnosne stvari koje biste trebali provjeriti i molim vas da znate, samo prikažite podatke Oni bi trebali vidjeti ili maskirati ili urediti podatke koje ne bi trebali vidjeti. "Pa, kao i obično, kad ga gurnete u aplikaciju, to se ne radi na jednom mjestu, tako da se to učini drugačije ili se ne radi Neću završiti na nekim mjestima. I sada ste zapravo dobili ovu sposobnost u svojim sustavima baza podataka.

Sada je u SQL Server 2016 ta značajka ugrađena tako da još nije neobavezna stavka troškova koja će biti dodatak podatkovnom centru; i u Oracle 12 morate kupiti njihov dodatak za upravljanje životnim ciklusom, ali to je nešto novo i opet ga pokreće posao. A posebno zato što sad čuvate toliko podataka i radite na vađenju podataka, pa BI i analitika, morate znati tko pristupa tim podacima i osigurati da im je dopušteno samo vidjeti što oni mogu vidjeti.

Isto tako, ponovno pogledajte to, zaštitu podataka i usklađenost. Otkrićete da mnogi sustavi baza podataka sada grade kompresiju ili, žao mi je, enkripciju izravno u bazu podataka i što je važno kod ove enkripcije, ako pogledate strelicu prema dolje i strelicu prema gore na dijagramu koji je piše dolje na disk šifriran, a zatim ga čita natrag u memoriju i dešifrira. To je zapravo jedan model, postoji drugi model koji bi, zapravo, to učinite samo kada on podatke putem mreže komunicira s stvarnom aplikacijom klijenta.

U tom slučaju, čak bi i u poslužitelju baze podataka u memoriji mogao biti šifriran i dešifriran je tek nakon što je poslan na aplikaciju klijenta. Ovdje postoje dva različita modela i naći ćete ih u bazama podataka, a jedna od baza podataka koja je nedavno dodana je MariaDB u njihovoj verziji 10.X; Vjerujem da su sada 10.1 ili 10.2. A zapravo sam napravio određeni referentni kriterij za ovu enkripciju, a da bih dobio to šifriranje, doživio sam samo oko 8 posto smanjenje propusnosti ili brzine. U usporednom testu, šifriranje nije prouzrokovalo toliko, pa je to vrlo korisna značajka.

Sada smo već spomenuli o flash memoriji i SSD-ovima i sličnim stvarima. Jedna od značajki koju imate u Oracle i SQL Serveru koju mnogi ljudi ne shvaćaju je da možete uzeti flash ili SSD koji se nalazi na vašem poslužitelju baze podataka i možete im reći: „Upotrijebite to kao da su memorija. Tretirajte RAM-ove kao preferencijalno, ali pretvarajte se da je ovo spora memorija i koristite je kao produženu predmemoriju. "Sada se u SQL Serveru 2014 ovo pojavilo i nazvano" Buffer Pool Extension "(besplatno proširenje). U Oracleu je izašao u 11g R2 i zvao se "Database Flash Cache" i tamo je bio i besplatan.

Moj je savjet, međutim, pažljivo testirati ovu značajku. Svaki put kad povećate predmemoriju kada pretražite, to traje duže. Ako stavite bljeskalicu od tri terabajta i kažete bazi podataka: "Dodajte to u svoju memoriju", mogli biste zapravo ustanoviti da se nešto usporilo zbog vremena kad pogledate i vidite je li to flash, je li prljavo ili čist? Postoji točka smanjenog povratka. Moj savjet je ponovo test vožnje, pogledajte što vam radi, ali opet, nalazi se u vašoj bazi podataka i u slučaju Oracle-a, i u SQL Serveru i u Oracleu, postoji već par godina.

A onda nas to vodi do djedice koji su bili baze podataka u memoriji i to zbog toga što su cijene baza podataka pale. Drugi razlog zbog kojeg biste vjerojatno pomislili da se to dogodilo je velika količina analitike koja zahtijeva da podaci budu vrlo brzo dostupni, pa im to treba ostati u memoriji. Imajte na umu da algoritmi koje baze podataka koriste za pristup tim podacima, da ih komprimiraju, kriptiraju, pohranjuju, znate da u nekim slučajevima neke baze podataka mogu i dalje pohranjivati ​​u memoriju kao redak.

U nekim slučajevima neke baze podataka mogu to razbiti u stupce orijentirane, a razlog zbog kojeg to čine je da dobiju znatno višu razinu kompresije, negdje oko 11 do 12X, spremanjem u redoslijed stupaca prema redoslijedu reda. Prvi se put pojavio u SQL Serveru 2014, zvao se "Hekaton". Radikalno je porastao u SQL Serveru 2016, vidjet će ga referenca nekim drugačijim imenima i izašao je u Oracle 12c; Ovdje kažem drugo izdanje, a ne R2. Postojala su dva različita izdanja Oracle 12c, 12.1.0.1 i 12.1.0.2. Ovo je drugo izdanje R1 verzije baze podataka.

I način na koji ga definirate, objekt u memoriji je sličan u obje baze podataka. Ovdje možete vidjeti u gornjem desnom kutu, kreiram SQL Server i možete vidjeti da piše s optimiziranom memorijom i trajnošću je samo shema. Neću prelaziti preko svih tih značenja sintakse, a u Oracleu je zapravo još jednostavnije, samo promijenite tablicu i kažete u sjećanju ili ne i to možete promijeniti. Mogu danas reći da je u sjećanju, a sutra nije i tako je vrlo fleksibilan.

Napravio sam neke testove na Oracleu sa tablicama u memoriji, imao sam nekoliko testova koji su trajali gotovo 40 minuta, gore u gornjem redu. Ono što je važno jest da sam, kad sam stigla do dva reda, povećala vrijeme izvođenja ili smanjila, trebala bih reći, otprilike pet minuta, a kad sam pogledala faktor kompresije, podaci u memoriji su zapravo 3,6 do 4,6 puta manji. To je važno jer sam u ovom slučaju koristio format orijentiran na stupce, a on je komprimiran. I tako pogodite što? Zapravo mi je u memoriju stajalo gotovo četiri do pet puta više podataka. Ne samo da sam dobivao prednost u memoriji, prednost orijentirane na stupce, već i prednost daleko više podataka - čak pet puta više podataka u memoriji, tako da je ovo prilično moćna tehnika. Ponovno Oracle i SQL Server, želite pogledati ove, oni su stvarno sjajne značajke. A s tim mislim da ću otvoriti pitanja.

Eric Kavanagh: Pa Bert, prije svega si bio nesebičan u cijelom ovom divnom obrazovanju. Možete li razgovarati na trenutak o tome što radite? Jer imate neku tehnologiju koja omogućava otvaranje koja vam može olakšati ono o čemu ste govorili. Samo na trenutak porazgovarajte o tome što radite, a zatim dovedite Deza i Robina u jednadžbu ovdje.

Bert Scalzo: Da, radim za tvrtku koja se zove IDERA. U Teksasu smo, sjedište nam je u Houstonu, a zapravo trenutno sjedim u Austinu, ali imam sjedište u Dallasu. Izrađujemo alate za baze podataka i izrađujemo alate za baze podataka koji će vam pomoći u rješavanju problema. Taj bi problem mogao biti tako jednostavan, kao što je produktivnost. U tom slučaju imamo alat nazvan DBArtisan koji vam omogućuje administrativne zadatke vaše baze podataka i jedan je alat koji vam omogućuje upravljanje 12 različitih platformi baze podataka. Mogu upravljati SQL serverom, mogu upravljati Oracleom, mogu upravljati MySQL, DB2, Postgresom i koristim jedan alat, jedan izvršni, jedan GUI dizajn i jedan dosljedan skup radnih tokova. Također izrađujemo alate za ispunjavanje propisa, imamo alat koji se zove SQL Compliance Manager koji će vam pomoći da ispunite svoje potrebe za usklađivanjem. Još jedan alat pod nazivom SQL Security, pa pokušavamo napraviti alate koji će vam pomoći da budete učinkoviti i efikasni, a što je zaista lijepo ako odete na našu web stranicu, vani imamo čitav niz besplatnih programa, pa ako ništa drugo, idite na preuzimanje - Mislim da imamo 20 ili 25 autocesta. Postoje neke zaista dobre besplatne stvari poput SQL Server-a i Windows Help Check-a koji će u osnovi samo pogledati što imate i reći vam da li imate problema ili stvari i potpuno je besplatna.

Eric Kavanagh: I stvarno ste vrsta ...

Bert Scalzo: Definitivno prva stvar -

Eric Kavanagh: Danas govorite o heterogenosti na tržištu, postojala je jedna vrsta jednadžbe jednake veličine koja se zapravo sjećam kako sam intervjuirao doktora Michaela Stonebrakera kad je 2005. godine, kad je krenuo na veliku snagu govoreći o presudi kretanju baze podataka usmjerenih na stupce i govorio je o tome kako je relacijski model jedne veličine-odgovara-svima dominirao dugi niz godina, i predviđao je da će se to sve promijeniti, a dečko je u pravu u vezi s tim. Sada imamo ovo zaista raznoliko i zanimljivo okruženje s puno različitih mogućnosti i prilika, ali trebate vam nekoga tko će sve to upravljati i čini mi se da je vaša tvrtka prilično usredotočena na rješavanje matematičkih problema, pa samim tim i pokretač zaglavlje heterogenosti, zar ne?

Bert Scalzo: Apsolutno. Hoću reći da uvijek ima DBA koji govore: "Ne želim koristiti GUI alat, sve radim sa skriptu", znate? Oni misle da je superman tip DBA i to je u redu, ali za većinu nas ljudi želimo jednostavno obaviti posao i - znate, za pisanje svojih dokumenata koristim Microsoft Word. Za svoj posao koristim Microsoft Outlook. Mislim, imam alate za obavljanje zadataka. Gradimo istu vrstu koncepta, gradimo alate za administratore baza podataka i programere kako bismo im pomogli da se usredotoče na ono što žele raditi, a ne kako oni to trebaju učiniti.

Eric Kavanagh: To ima smisla, ali dopustite mi da vam predam naše stručnjake, a ljudi mogu zaroniti. Imamo nekoliko komentara iz publike. Možda, Dez, nekoliko pitanja i Robin nekoliko pitanja?

Dez Blanchfield: Naravno. Jedno od prvih pitanja koje želim postaviti na vas, s obzirom na ogroman niz iskustva koje ste stekli, vidite li uskoro trenutak kad će se bilo što od ovoga usporiti? Ili mislite da smo zapravo tek na ulaznoj točki ove neprekidne linije rasta? Mislim da je jedno od najvećih problema s kojima se kompanije suočavaju, a onda uvijek ljudi koji pokušavaju podržati tehnologiju koja im tim tvrtkama omogućuje da vode svoje poslovanje, jest da je stopa promjene toliko dramatična da jednostavno ne mogu pratiti sve različite značajke, i softver, i sustavi, i okviri, i arhitekture, i novi kôd, a onda i hardver ispod toga, vidite li trenutačnu stopu promjene uopće usporavanje? Mislim, bavite se tako širokim spektrom platformi s čitavim paketom IDERA, hoćemo li usporiti uskoro ili se već dugo nalazimo na ovom ludom zaleđenom teretnom vlaku?

Bert Scalzo: Mislim da smo na prvih 20 posto te krivulje rasta i da moramo ići dug put, a dvije su stvari koje to guraju. Tehnologija se stalno razvija. Spomenuli ste neke nove vrste memorije koje će se pojaviti, to će biti fantastično. Samsung će uskoro ovdje imati 20-terabijski bljesak. To će promijeniti stvari Imamo sve ove NoSQL i cloud baze podataka, ovo će samo nastaviti. Jedna stvar koja je nekako smiješna jest kada pogledam baze podataka poput Oracle i SQL Server i neke druge, one zapravo više nisu relacijske baze podataka. Mogu nestrukturirane podatke unijeti u Oracle i još uvijek održavati ACID sukladnost. Da ste mi rekli 20 godina, rekao sam da ste na drogi.

Dez Blanchfield: Da, da, super su. Pa čak i sada oni motori koji imaju prilično lijepu nišanu vertikalu poput GIS-a, samo bolji od izvornih mogućnosti sada. Izdvojili ste odlične komentare o izazovima s kojima se suočavaju DBA i različitim vremenima DBA-a za koje se nadamo da se mogu vidjeti negdje oko nas, ali kako izgleda svijet s takvim slojem poslovanja kojim se bavite? Mislim, to su ljudi koji koriste različite platforme, od svog dijagnostičkog upravitelja, do alata za inventar, pa sve do pojave do odmrzavanja, kako se DBA suočavaju s ovom promjenom i kako se nekako slažu - znate , što oni rade s vašim alatima kako bi se mogli nositi sa ovim značajnim pomakom u svom krajoliku?

Bert Scalzo: Eto, vratit ću se prije gotovo 20 godina, a onda ću reći da DBA rješavaju vrlo specifičnu ulogu u organizaciji. Obično rade s jednom platformom baze podataka, možda s dvije, a upravljali su s relativno malim brojem baza podataka. Sada naprijed prema danu i administratoru baze podataka, on će zapravo poznavati 10 platformi baza podataka. Uspijeva, a to nije šala, u nekim slučajevima tisuće baza podataka; to je više u svijetu SQL Server ili MySQL. Ali još uvijek u svijetu Oracle mogli bi upravljati stotinama baza podataka. Tako su izišle sve ove nove značajke, sve ove nove platforme i sve te baze podataka za koje su odgovorne. Oni traže alate koji bi im omogućili produktivnost i koji bi im pomogli da nauče neke stvari.

I dat ću vam primjer - ako želim podijeliti tablicu, to je prilično nejasna sintaksa, a ako je želim pododjeljivati, sintaksa postaje još teža. Znam što želim raditi, želim stvoriti kante. Ako imam alat poput DBArtisan-a koji kaže: "Hej, evo lijepog zaslona koji vam omogućava da se koncentrirate na ono što pokušavate učiniti, a ne na to kako to pokušavate učiniti, i usput, pritisnite Pokažite SQL gumb kad završite, a mi ćemo vam pokazati kakav je bio SQL, da biste mogli početi stvarno učiti i savladati ovo. "

DBA-ovi otkrivaju da alati koji im pomažu u obavljanju posla, ali i pomažu da ih nauče svim tim novim stvarima koje koriste i isto bi bilo istina - recimo da sam tip Oracle i prijeđem na MySQL i kažem, "U redu, stvorite bazu podataka, DBArtisan. Sad mi pokažite SQL jer se pitam kako je to stvoriti bazu podataka na MySQL-u i upravo sam naučio sintaksu. "I tako im ne samo da im pomažemo u radu s bazom podataka već ih i educiramo u bazi podataka.

Dez Blanchfield: Postaje još zanimljivije kada izađete među neke modernije - ili ne modernije, to nije pošteno reći - ali jednom je prilikom baza podataka postala baza podataka. Ovih dana vidim sve o čemu razgovarate tamo s dodatnim izazovom da se tehnološka hrpa koju tradicionalno vidimo od dobavljača i vi na neki način otvorite izvor i da je dobro. Ne bavite se samo motorima baza podataka i jezicima upita, već se bave i vrstama podataka, strukturiranim i nestrukturiranim, znate, izazov je da se pozabavite svime iz dalekog spektra HDFS s više petabajta. okruženje do malih sićušnih spremnika i datoteka s paketima i raznih formata datoteka zapisa.

I mislim da je to nešto što sada vidimo gdje jednostavno nijedno ljudsko biće, bez obzira koliko supermoć, super žena, ma što mislili da jesu, fizički se ne mogu mentalno nositi s tim promjenama i razmjera varijacija. Mislim da će paket alata koji sada nudite doći do točke kad će gotovo biti na zadanom skupu na mnogo načina, tako da ne možemo pokrenuti okruženja baza podataka koja smo dobili bez njih, jer fizički jednostavno ne može baciti toliko tijela na njih. Jako mi se svidjela tvoja prezentacija. Prelazit ću kod dr. Robina Bloora, siguran sam da i on ima puno pitanja.

Robin Bloor: U redu. Pa, sigurno imam pitanja. Bert, ne znam kamo ideš - vodio sam prije nekoliko dana zaista zanimljiv razgovor gdje mi je netko počeo pričati o najnovijoj zaštiti podataka DU-a i činilo mi se iz onoga što su mi govorili da je nevjerojatno drakonski u smislu stvari na kojima su inzistirali. Pitao sam se jesi li to stvarno pogledao; je li vam nešto poznato?

Bert Scalzo: Apsolutno. Da.

Robin Bloor: 2016, ok, reci nam o tome.

Bert Scalzo: A ja zapravo ...

Robin Bloor: Duboko zanimljivo.

Bert Scalzo: Zapravo sam neko vrijeme radio za dobavljača blica, na njihovom području baze podataka, pomažući im u izradi flash proizvoda za baze podataka, i mogu vam reći da drakonski ide sve dolje. Ako mislim na, ako se sjećate mog jednog slajda, rekao sam da će u nekim bazama podataka izvršiti šifriranje, ali ga stavlja u memoriju poslužitelja, a u nekim bazama šifriranje - i dalje je šifrirano u memoriji poslužitelja, dešifrira se samo kad šalje se klijentu. Pa, također ćete naći neke od ovih vladinih standarda, posebno Ministarstva obrane ili vojske ovdje u SAD-u, oni pomalo padaju do bljeskalice i žele znati ne samo da podržavate šifriranje i dešifriranje u vašeg hardvera, ali ako bi netko ukrao čipove koji su ih - znate, izvukli iz stvari sa vašeg servera, da je ono što je tamo kriptirano i tako, iako imaju skladište, to ne može biti i oni bi sve do stvarnog - ne do samog bljeskalice, već do pojedinih čipova. Željeli su znati taj čip po čipu, sve je šifrirano.

Robin Bloor: Wow. Mislim, ima puno stvari - znate, mislim da ste izmislili samo jedan ili dva slajda o ovome, ali bilo je to nešto, scenarij za koji mislim da je zaista zanimljiv. Uređivanje podataka, na primjer, mora biti malo pametnije od maskiranja različitih polja, jer pogotovo u strojnom učenju danas možete raditi deduktivne stvari koje vam omogućuju da površne informacije koje prije niste mogli prikazati na površini.

Ako pokušavate zaštititi, recimo zdravstvene podatke, onda su to vrlo, vrlo drakonska pravila u SAD-u u pogledu zdravstvenih podataka, ali zapravo, koristeći razne tehnike strojnog učenja, često možete utvrditi tko su nečije medicinske informacije zapravo jest. Samo sam se pitao imate li što reći o tome jer svi misle da je to zanimljivo područje.

Bert Scalzo: Da, apsolutno, i ja to koristim samo kao primjer, ne pokušavam reći da je jedna baza podataka bolja od druge, ali ovo je vrlo dobar primjer za ono što ste upravo pitali. U Oracleu, na primjer, ako mi nije dopušteno vidjeti niz podataka, na primjer, nije mi dopušteno vidjeti medicinsku evidenciju Johna Smitha. Ako u kazivanju Oracle kažem „Odaberite taj zapis“, bit ću blokiran ili će mi biti dopušteno vidjeti ono što mi je dopušteno vidjeti i uredit će se. A ako kažem, "Odaberite zvijezdu računa iz tablice koja je jednaka John Smithu", dobit ću nulu.

U SQL Serveru može raditi redakciju, ali ima nekih rupa. Ako kažem, "Odaberite zvijezdu računa iz tablice u kojoj je ona jednaka John Smithu", zapravo ću je dobiti, tako da znam da postoji John Smith. Jedno je sigurnije od drugog. Sada očekujem da će to popraviti, oni se međusobno igraju skok-žabu. I opet, ne pokušavam razlikovati baze podataka osim da pokazujem primjer - pogledajte o čemu sada pričamo, nešto tako jednostavno kao što je odabir računa također treba smanjiti redakcijom, iako tehnički gledano govoreći, ne postoji ništa što se redigira osim postojanja retka.

Robin Bloor: Da baš. To je zanimljivo. Mislim, drugo općenito pitanje, jer nemam puno vremena, zapravo je samo u vezi s poboljšanjima.Mislim, bili ste na jednom mjestu za koje znam da ste nam pokazali primjere različitih rezultata testiranja koje ste pokrenuli - mislite li da su tradicionalne baze podataka, nazovimo ih dominantnim bazama podataka, SQL Server i Oracle, zar ne mislite da će ostati prije završetka? Ili mislite da će ih zapravo uhvatiti jedna ili drugačija vrsta poremećaja na tržištu koji im uistinu odgovaraju? Koje je tvoje mišljenje?

Bert Scalzo: Imam mišljenje i to je - znate, opet ću reći da je to moje mišljenje - Microsoft, na primjer, u doba post-Ballmera samo impresionira živi pakao od mene. Mislim da ova rastezanje baza podataka dobiva SQL Server na Linuxu, prebacuje .NET na Linux, prebacuje PowerShell na Linux; Ne mislim da će tradicionalni dobavljači baze podataka ostati iza. Mislim da su odlučili: „Hej, neka novi momci, startapovi nešto definiraju. Neka shvate što je oštrenje i kako ga treba usavršiti, a nakon što provedu sva istraživanja i razvoj, tačno znamo što korisnici žele, a sada dodajmo oštrenje Oracleu. "Mislim da samo postaju pametni i govoreći: "Hej, biti drugi ili treći nije loše kad si dominantni igrač, jer tada ljudi neće migrirati s tebe."

Robin Bloor: Da, mislim da je to strategija koja je korištena. Mislim, IBM je to radio i čitav njihov proizvod - i to za cijeli njihov asortiman proizvoda i to je prilično dobro dok netko ne dođe do nečeg što je potpuno potpuno sa zida, o čemu nitko nije razmišljao, ali ne možete planirati protiv toga ionako.

Pitanja iz publike, Eric?

Eric Kavanagh: Da, ali imaš vremena, mislim da je to možda možda samo jedno i znam da Bert mora pobjeći. Ovdje je bilo nečeg u redu - ok, oštroumna arhitektura Oracle 12c je pokazatelj - ili što je to pokazatelj vašeg mišljenja, što mislite što se tamo događa?

Bert Scalzo: Pa, Oracle apsorbira ili nudi sve ono što su svi ostali dobavljači baze podataka. Na primjer, u Oracle mogu staviti nestrukturirane podatke. Ne znam kako možete staviti nestrukturirane podatke i nazvati ih relacijskom bazom podataka, tako da nema smisla, ali možete. A sada Oracle dodaje oštrenje, pa Oracle govori, "Znate što? Što god tržište želi, ponudit ćemo našu bazu podataka jer tržište želi ono što tržište želi i želimo pružiti rješenje, želimo da oni ostanu s nama. "

Mislim da ćete vidjeti dodatne stavke. Ne bih se iznenadio kada bih vidio klasteriranje čvorova baze podataka poput Hadoopa, ne u Oracle stalak ili u stvarnom aplikacijskom klasteru, već u osnovi u većini tradicionalnih klastera Hadoop tipa koji rade to štrajkanje. I zato mislim da ćete moći implementirati bazu podataka poput Oraclea poput Hadoopa, a ovakvi trendovi nastavit će se nastaviti. Ti veliki dobavljači baza podataka, zarađuju milijarde dolara i ne žele izgubiti tržište, pa su spremni prilagoditi se bilo čemu ili usvojiti bilo što.

Eric Kavanagh: Pa, znate, smiješno je, jer dugo pratim prodavače otvorenog koda i pitao sam se koliko će to imati veliki utjecaj na tradicionalnu tehnologiju zatvorenih vrata, a neko vrijeme sam se sigurno osjećao kao dobavljači otvorenog koda napravili su ozbiljan napredak, a sada kad gledam pijacu vidim kako to kažete, veliki ljudi koji su uradili matematiku, naoštrili su olovke i shvatili su kako mogu tkati puno toga u svoje arhitekture. Bilo da se radi o IBM-u ili Oracleu ili SAP-u - upravo sam bio prošlog mjeseca na SapphireNow konferenciji, a Steve Lucas, koji je na čelu polovine te tvrtke, hvalio se da SAP sada uključuje u svoju cloud platformu HANA više komponenti otvorenog koda od bilo koje njihove natjecatelja. Ako se bavite time matematikom, to je prilično impresivna izjava i govori mi kako veliki momci uskoro ne idu nikamo.

Bert Scalzo: Ne, kladio bih se u novac za oboje. Mislim, ako pogledate, Microsoftova dionica nedavno je iznosila oko 50 dolara, a prije nekoliko godina bila je 25. Ne možete udvostručiti cijenu dionica u kratkom vremenu, osim ako ne radite dobre stvari i, znam, od činjenja da je sve od Windowsa 10 besplatno tijekom prve godine do svih ostalih pametnih stvari koje rade, mislim da je ova funkcija rastezanja baze podataka fenomenalna. Mislim da će se dogoditi da će mnogi ljudi završiti u Azuru, a ne izravno, ne kao što su rekli: "Prebacimo moju bazu podataka na Azure." Magično će se tamo migrirati jer će se arhivirati tamo pomoću ove nove značajke baze podataka za protezanje i na taj način, usvajanje Azure će tek uskočiti.

Eric Kavanagh: Pa, to je jedan od trendova na tržištu koji čak i ja vidim, čak i na vašem Macu. Dok idete u svoj Mac za spremanje nekih dokumenata, oni sada - a noviji Mac-ovi samo slijede kroz oblak, zar ne? Mislim, ima puno smisla u toj strategiji i ja to gledam i odlazim: "U redu, momci, pokušavate me primamiti dio po dio u svoje oblačno okruženje, a onda jednog dana kad želim pogledati neki film ako moja kreditna kartica je istekla, naći ću se u nevolji. "

Bert Scalzo: Da, ali ti to radiš.

Eric Kavanagh: Da. To je istina.

Bert Scalzo: Sve ste stavili.

Eric Kavanagh: Pa, ne baš sve.

Bert Scalzo: Ne, mislim ...

Eric Kavanagh: Da, samo naprijed.

Bert Scalzo: Ovi društveni trendovi sežu u poslovanje. Sada tvrtke imaju još puno drugih stvari koje moraju raditi, ali vide ove trendove i rade iste stvari. Ne vidim ni Oracle ni Microsoft koji odlaze. Zapravo, kupit ću zalihe oba puta svaki put kada dođe do propuha.

Eric Kavanagh: Da svakako. Pa ljudi, idite na idera.com, I-D-E-R-A dot com. Kao što je Bert rekao, oni imaju gomilu besplatnih stvari gore i to je jedan od novih trendova na tržištu - dajte vam nekoliko besplatnih stvari s kojima ćete se igrati, zakačite se, a onda idete kupiti stvarne stvari.

Ljudi, ovo je još jedna vruća tehnologija. Hvala vam na vašem vremenu danas, Bert, naravno, Dez i Robin. Razgovarat ćemo s vama sljedeći tjedan, ljudi, mnogo toga se događa. Ako imate bilo kakvih ideja, slobodno se upustite u svoje,. Razgovarat ćemo s vama sljedeći put, budite oprezni. Doviđenja.