Sadržaj
- Definicija - Što znači Spider?
- Uvod u Microsoft Azure i Microsoft Cloud | Kroz ovaj vodič naučit ćete o čemu se radi računalstvo u oblaku i kako vam Microsoft Azure može pomoći da preselite i pokrenete svoje poslovanje iz oblaka.
- Tehopedija objašnjava Pauka
Definicija - Što znači Spider?
Na Internetu je pauk specijalizirani softver osmišljen za sustavno pretraživanje i pregledavanje World Wide Weba, obično u svrhu indeksiranja web stranica kako bi ih ponudio kao rezultate pretraživanja za korisničke upite. Najpoznatiji od takvih paukova je glavni robot Googlebot, Googles, koji pomaže u osiguravanju vraćanja relevantnih rezultata za upite pretraživanja.
Pauci su također poznati i kao web pretraživači, pretraživači ili jednostavno botovi.
Uvod u Microsoft Azure i Microsoft Cloud | Kroz ovaj vodič naučit ćete o čemu se radi računalstvo u oblaku i kako vam Microsoft Azure može pomoći da preselite i pokrenete svoje poslovanje iz oblaka.
Tehopedija objašnjava Pauka
Pauk je u osnovi program koji se koristi za skupljanje informacija sa svjetske mreže. Prolazi kroz stranice web mjesta izvlačeći podatke i indeksirajući ih za kasniju upotrebu, obično za rezultate pretraživača. Pauk posjećuje web stranice i njihove stranice kroz različite veze na i sa stranica, pa će stranicu bez ijedne poveznice do nje biti teško indeksirati i na stranici s rezultatima pretraživanja možda biti vrlo nisko rangirana. A ako postoji puno veza koje upućuju na stranicu, to bi značilo da je stranica popularna i da će se pojaviti više na rezultatima pretraživanja.
Koraci koji uključuju web indeksiranje:
- Pauk nađe stranicu i počne pretraživati svoje stranice.
- Pauk indeksira riječi i sadržaj web mjesta.
- Pauk posjećuje veze pronađene na web mjestu.
Spiders ili webcrawlers samo su programi i kao takvi slijede sustavna pravila koja su postavili programeri. Vlasnici web stranica također se mogu upustiti u to tako što će reći pauku koje dijelove web mjesta indeksirati, a koji ne. To se postiže stvaranjem datoteke "robots.txt" koja sadrži upute za pauka o tome koje dijelove treba indeksirati i veze koje treba slijediti, a koje treba ignorirati. Najznačajniji pauci vani su oni u vlasništvu glavnih pretraživača kao što su Google, Bing i Yahoo, i oni namijenjeni za vađenje podataka i istraživanje, ali postoje i neki zlobni pauci napisani za pronalaženje i prikupljanje podataka o korisniku koji će prodati na oglas tvrtkama ili za otkrivanje ranjivosti u web sigurnosti.