Zo vind je met Screaming Frog écht alle URL’s op je website

De grootste winst in het tabje ‘Crawl’ is door het aanvinken van additionele functies onder ‘Crawl Behaviour’ en ‘XML Sitemaps’. Hiermee crawl je bijvoorbeeld URL’s die op een website per ongeluk op nofollow staan. Of URL’s die in de sitemap staan maar waar niet naar gelinkt wordt op de website.

Staat de sitemap-URL niet in de robots.txt? Dan kun je ook de URL van de sitemap handmatig invullen.

Het is wel goed om te weten dat de aantallen behoorlijk kunnen oplopen als je deze instellingen aanvinkt. Als er bijvoorbeeld een staging-domein is die toegankelijk is crawl je opeens twee keer zoveel URL’s. Ook het volgen van externe nofollow kan ervoor zorgen dat je opeens veel meer crawlt.

Tip! Gebruik de exclude functie in Screaming Frog als je bijvoorbeeld externe URL’s wil uitsluiten. Dit kan door .* . domeinnaam .* in exclude toe te voegen. Bijvoorbeeld .*.facebook.com.*

Limits

Mocht je site meer dan 5 miljoen links hebben en een computer die het aankan, kun je de limiet van de crawl uitschakelen. In de praktijk zal de limiet nooit bereikt worden, maar het kan eventueel je crawl beperken.

Een goede om aan te passen is het aantal redirects dat Screaming Frog volgt. Google stopt na 20 redirects met crawlen en daarom goed om dit aan te passen voor uitzonderlijke gevallen. Een belangrijke categorie is enkel te bereiken na 18 redirects? Dan neemt Screaming Frog dit ook mee.

Advanced

Alles wat rood omringt is, zou ik adviseren aan te vinken.

Het altijd volgen van redirects en canonicals heeft invloed op de list mode van Screaming Frog, maar kan handig zijn. Crawl je in je lijst perongeluk een redirect? Dan weet je ook gelijk waar die redirect naartoe gaat.

De response timeout verhogen we zodat de server langer de tijd heeft om iets terug te geven wanneer het programma een crawl doet. Komt er na 60 seconden nog niks? Dan pas geeft Screaming Frog een error.

Hetzelfde doen we door de 5xx Response Retries te verhogen. Als een server veel aanvragen tegelijk krijgt, kan het zijn dat de server een 500-error teruggeeft. Soms is dit een tijdelijke error. Screaming Frog markeert de URL pas als 500 error na 10 pogingen.

2. Robots.txt

In de robots.txt configuratie passen we de instelling aan zodat Screaming Frog de regels in de robots.txt negeert maar wel aangeeft dat deze URL’s uitgesloten worden door robots.txt .

Stel je hebt producten die enkel in https://www.website.nl/uitgesloten-product-categorie/ staan. Deze producten vindt Screaming Frog in de standaard-configuratie niet wanneer je deze categorie perongeluk uitgesloten hebt in de robots.txt. Door het wijzigen worden deze producten nu wél gecrawld en worden deze pagina’s gecheckt op fouten.

Lees ook: 21 gratis SEO-tools op een rij.

Standaard bezoekt Screaming Frog de site als ‘Screaming Frog SEO Spider’. Het ideale is dat je je kunt voordoen als Googlebot Smartphone. Zo doe je de simulatie zoals Google ook alles zou zien. Heel soms wil het nog wel voorkomen dat sites aparte content inladen voor Google, dan wordt dat ook meegenomen.

"Wist je dat Google mobile first crawlt? Dat betekent dat Google altijd jouw website als mobiele gebruiker bezoekt."

4. API Access

Met Screaming Frog heb je de mogelijkheid om de API van Google Analytics, Google Search Console en andere tools te koppelen.

Een groot voordeel is dat je kunt aanvinken dat Screaming Frog nieuwe URL’s die gevonden zijn moet crawlen.

In de date range geef je aan wat Screaming Frog mee moet nemen. Wil je specifieke metrics of dimensies ophalen? Je stelt het allemaal gemakkelijk in. Deze data is vervolgens per URL ook te zien, ideaal voor als je de data van URL’s naast elkaar wil hebben.

Heb je een sitemigratie gedaan? Neem dan de URL’s in Google Analytics en Google Search Console van de afgelopen 12 maanden mee, sorteer vervolgens op aantal sessies en zie of je geen belangrijke URL’s bent vergeten te redirecten. Zo hebben wij bij meerdere sites waar wij geen SEO voor deden belangrijke URL’s gevonden zonder een redirect.

Voorkom opnieuw instellen

Inmiddels hebben we best wat wijzigingen gedaan aan de configuratie. Door in Screaming Frog naar File > Configuration te gaan heb je de mogelijkheid om je huidige configuratie als standaard op te slaan. Zo hoef je niet telkens alle wijzigingen door te voeren wanneer je een crawl wil doen.

Ook heb je hier de mogelijkheid om opnieuw naar de standaard-configuratie te gaan mocht je dat willen.

Daadwerkelijke alle URL’s

Het doel van een online marketeer is het vinden van alle URL’s met Screaming Frog. Met bovenstaande stappen is de kans vele malen groter dat je daadwerkelijk alle URL’s van je website gaat vinden.

Dit artikel is gecheckt door het SEO-panel.