Direct contact opnemen? 06-27234373
Wat is crawlen?
Crawlen is de manier waarop Google nieuwe en bijgewerkte pagina's ontdekt. Zonder crawlen weet Google niet dat jouw pagina bestaat en kan hij hem ook niet tonen in de zoekresultaten.
Crawlen is het automatisch doorzoeken van websites door zoekmachines. Een crawler, ook wel spider of bot genoemd, volgt links van pagina naar pagina om nieuwe en bijgewerkte content te ontdekken.
Hoe werkt crawlen?
Google stuurt regelmatig zijn crawler, Googlebot, langs websites om te kijken of er nieuwe of gewijzigde pagina's zijn. De bot volgt links op pagina's om van de ene naar de andere pagina te navigeren. Hoe beter je interne linkstructuur, hoe makkelijker de crawler alle pagina's op je site kan bereiken.
Pagina's die geen interne links naar zich hebben, worden soms gemist door de crawler. Die worden ook wel weespagina's genoemd. Een sitemap helpt Google ook zulke pagina's te vinden.
Crawlen versus indexeren
Crawlen en indexeren zijn twee aparte stappen. Crawlen is het bezoeken en analyseren van een pagina. Indexeren is het opnemen van die pagina in de database van Google zodat hij kan verschijnen in de zoekresultaten. Een pagina kan gecrawld worden zonder geïndexeerd te worden, bijvoorbeeld als de inhoud te dun is of als er een noindex-tag op staat.
Neem contact op. Wij staan voor je klaar en geven je graag meer informatie.
Neem contact op