Koje su prednosti okvira Hadoop 2.0 (YARN)?

Sadržaj

• Što je okvir YARN?
• Ograničenja okvira Hadoop 1.0
• Bez grešaka, bez stresa - Vaš korak po korak vodič za stvaranje softvera koji mijenja život bez uništavanja života
• Okvir prediva i njegove prednosti
• Zaključak

Izvor: Jim Hughes / Dreamstime.com

Oduzeti:

YARN je značajno poboljšanje u okviru Hadoop 1.0. Ovdje ćemo ispitati neke prednosti koje ima u odnosu na svog prethodnika.

Od vremena kada je uveden koncept velikih podataka, on je prolazio kroz više faza evolucije. Hadoop je predstavljen 2005. godine s nekim početnim značajkama kao što je MapReduce procesor koji je omogućio obimnu obradu podataka koja se distribuira u klasterima. Sam Hadoop je doživio puno promjena i razvio napredne okvire i metode.

PRIJA je osnovna komponenta Hadoopa 2.0. U osnovi upravlja resursima u okruženju u klasteru. YARN broker komunicira s računskim resursima (u ime aplikacija) i dodjeljuje resurse svakoj aplikaciji na temelju različitih kriterija filtriranja.

U ovom ćemo članku pogledati vrhunske prednosti pređe u odnosu na Hadoop 1.0.

Što je okvir YARN?

Yet nother Resource Negotiator je osnovna komponenta Hadoopa 2.0, koji upravlja resursima u okruženju u klasteru. Okvir Hadoop YARN napredna je verzija Hadoopa 1.0 koja omogućuje poboljšane performanse, što je korisno za Hadoop ekosustav i cijeli asortiman tehnologija povezanih s njim. Sada kada smo malo poznatiji od YARN, pogledajmo bliže Hadoop 1.0 i YARN.

Ograničenja okvira Hadoop 1.0

Da bismo razumjeli prednosti okvira YARN, vrlo je važno razumjeti kako funkcionira Hadoop 1.0 i koja su ograničenja ovog okvira.

Tu dolazi uloga JobTracker. On upravlja i izvorima klastera i određuje izvršavanje zadatka MapReduce. Ukratko, JobTracker planira i rezervira mjesta za zadaće te konfigurira i nadzire svaki pokretani zadatak. Ako zadatak ne uspije, on preusmjerava novi utor kako bi se zadatak ponovno pokrenuo. Nakon što je zadatak završen, JobTracker oslobađa utor za ostale zadatke i čisti privremene resurse.

Glavni nedostaci gornjeg pristupa:

• Dostupnost - JobTracker je jedina točka dostupnosti u Hadoopu 1.0. To znači da ako JobTracker ne uspije, svi zadaci će se zadati ponovno pokrenuti prema zadanim postavkama.
• Ograničena skalabilnost - Budući da JobTracker obavlja više zadataka i radi na jednom stroju, ostali dostupni strojevi se ne koriste; stoga rezultira ograničenom skalabilnošću.
• Upotreba resursa - U gore navedenom pristupu su karte unaprijed i slotovi za smanjenje karte definirani. Može se dogoditi da je jedan utor pun, ali ostali automati prazni. Budući da su prazni slotovi rezervirani, oni će mirno stajati umjesto da kompromitiraju pune mjesta. To može uzrokovati problem korištenja resursa.
• Trčanje aplikacija koje nisu MapReduce - JobTracker je aplikacija koja je izgrađena za okvir MapReduce. Problem nastaje kada se aplikacija koja nije MapReduce pokušava pokrenuti u tom okviru. Da bi se uspješno izvodila, aplikacija mora biti u skladu s okvirnim programom MapReduce. Neki od najčešćih problema s kojima se suočava uključuju probleme sa:
  • Ad-hoc upit
  • Analiza u stvarnom vremenu
  • prolazni pristup
• Neuspjeh u kaskadiranju - Jedno od glavnih problema u ovom okviru događa se kada je broj čvorova veći od 4000. U takvom scenariju dolazi do kaskadnog kvara koji rezultira pogoršanjem čitavog klastera.

Ovo su neka od glavnih ograničenja s kojima se suočava tokom rada s ovim okvirom. Postoje i neka druga manja ograničenja koja nisu navedena. Za prevladavanje ovih ograničenja uveden je okvir YARN.

Bez grešaka, bez stresa - Vaš korak po korak vodič za stvaranje softvera koji mijenja život bez uništavanja života

Ne možete poboljšati svoje programiranje kad nikoga nije briga za kvalitetu softvera.

Okvir prediva i njegove prednosti

Okvir YARN, uveden u Hadoop 2.0, trebao bi dijeliti odgovornosti MapReduce-a i voditi brigu o upravljanju klasterima. To omogućava MapReduce-u da izvršava samo obradu podataka i na taj način pojednostavljuje postupak.

YARN donosi koncept središnjeg upravljanja resursima. To omogućuje pokretanje više aplikacija na Hadoopu, dijeljenje zajedničkog upravljanja resursima.

Neke od glavnih komponenti okvira YARN su:

• ResourceManager - komponenta ResourceManager je pregovarač u klasteru za sve resurse koji su prisutni u tom klasteru. Nadalje, ova komponenta razvrstana je u upravitelja aplikacija koji je odgovoran za upravljanje korisničkim poslovima. Od Hadoopa 2.0 bilo koji MapReduce posao smatrat će se aplikacijom.
• ApplicationMaster - Ova komponenta je mjesto na kojem postoji posao ili aplikacija. Također upravlja sa svim MapReduce poslovima i zaključuje se po dovršetku obrade posla.
• NodeManager - Komponenta upravitelja čvora djeluje kao poslužitelj za povijest poslova. Odgovorna je za osiguranje podataka o obavljenim poslovima. Također prati zadatke korisnika zajedno s njihovim tijekom rada za određeni čvor.

Imajući na umu da okvir YARN ima različite komponente za upravljanje različitim zadacima, pogledajmo kako se suprotstavlja ograničenjima Hadoop 1.0.

• Bolja iskorištenost resursa - Okvir YARN nema fiksne utore za zadatke. Osigurava središnji upravitelj resursa koji vam omogućuje dijeljenje više aplikacija kroz zajednički resurs.
• Trčanje aplikacija koje nisu MapReduce - U YARN-u su mogućnosti zakazivanja i upravljanja resursima odvojene od komponente za obradu podataka. To omogućuje Hadoopu pokretanje različitih vrsta aplikacija koje nisu u skladu s programiranjem Hadoop okvira. Hadoop klasteri su sada u stanju pokrenuti neovisne interaktivne upite i bolje analize u stvarnom vremenu.
• Kompatibilnost unatrag - YARN dolazi kao okvir koji je kompatibilan sa nazad, što znači da se bilo koji postojeći posao MapReduce može izvršiti u Hadoop 2.0.
• JobTracker više ne postoji - Dvije glavne uloge JobTracker su upravljanje resursima i raspoređivanje poslova. Uvođenjem okvira YARN, oni su sada odvojeni u dvije odvojene komponente, i to:
  • NodeManager
  • ResourceManager

Zaključak

Uvođenjem okvira YARN olakšala se izrada aplikacija za Hadoop programere. Sada se aplikacije više ne moraju implementirati s alatima treće strane. YARN je ogromna promjena koja će omogućiti korisnicima da razmotre Hadoop 2.0 za stvaranje aplikacija i učinkovitiju manipulaciju podacima. S vremenom će se postići daljnji razvoj koji će poboljšati upotrebljivost Hadoopa. Za sada će okvir YARN igrati presudnu ulogu u suočavanju s postojećim problemima i stvaranju okruženja bez problema, što je svestranije od prethodne verzije modela MapReduce.