Wekenlang heb je lopen zwoegen op de bouw van je nieuwe website. Laat die bezoekers maar komen! Maar ze komen niet. Of je website draaide al een tijdje juist lekker, maar plotseling zie je in Google Analytics het aantal bezoekers als een plumpudding in elkaar storten. Paniek! Wat blijkt: je site is niet vindbaar in Google. En daarmee bedoelen we niet dat je ineens van plek 1 naar plek 20 gekelderd bent, wanneer je zoekt op jouw belangrijkste zoekwoord. Nee, je site komt geheel niet meer voor in de Google-index! Wat kan er zijn gebeurd?
Checken of je website (geheel) niet geïndexeerd is
Voordat we ingaan op de mogelijke oorzaken die ten grondslag kunnen liggen aan het feit dat jouw website niet (meer) geïndexeerd wordt, gaan we eerst nog even kort in op de vraag wat indexering eigenlijk inhoudt. Want er is namelijk een verschil tussen vindbaar zijn en opgenomen zijn in de Google-index. Om te achterhalen of Google jouw website überhaupt heeft opgenomen in de enorme database, typ je het volgende in de Google-zoekbalk:
site:jouwwebsite.nl. Dus in het geval van B&S Media zou dat zijn: site:bsmedia.nl.
Je vindt nu alle pagina’s van jouw website die Google heeft geïndexeerd. Wanneer je website in zijn geheel nog niet geïndexeerd is, krijg je de volgende melding:
Je zoekbewerking – site:jouwwebsite.nl – heeft geen overeenkomstige documenten opgeleverd.
Krijg je wel gewoon alle pagina’s van jouw website te zien na het invoeren van deze zoekopdracht, maar merk je desondanks dat je via Google geen verkeer op je website krijgt? Dan is er iets anders aan de hand. Google vindt jouw website dan kennelijk (nog) niet relevant genoeg om te tonen bij de voor jou belangrijke zoekopdrachten. Investeren in zoekmachineoptimalisatie (SEO) is wat je dan verder kan helpen.
In deze blog gaan we echter in op de situaties waarin je website écht niet in Google staat en zelfs niet vindbaar is als je letterlijk op de naam van de website zoekt. Vrijwel altijd is een technische fout hieraan debet. Lees gauw verder en ontdek de acht meest voorkomende oorzaken!
1 – Je website is simpelweg nog te nieuw
Wanneer je website pas net in de lucht is, hoef je voorlopig niet te wanhopen. Het is heel gebruikelijk dat het een poosje duurt alvorens Google je nieuwe website ontdekt heeft. Er zijn waarschijnlijk nog geen of weinig links die naar je website leiden. En die heeft Google nodig om het internet af te struinen. Maar dat wil natuurlijk niet zeggen dat je maar moet afwachten tot iemand zo fideel is een linkje naar je website te plaatsen en Google op die manier de weg te wijzen. Je kunt de zoekmachine een handje helpen.
Allereerst kun je website-eigenaren actief benaderen om een link op te nemen naar jouw website. Linkbuilding noemen we dit. Ga hiervoor bij voorkeur op zoek naar websites binnen jouw eigen branche en het liefst sites die regelmatig nieuwe content plaatsen. Grote kans namelijk dat dit soort sites regelmatig door de Googlebot gecrawld worden en ze zo de link naar jouw site gauw zullen tegenkomen. Ook het laten opnemen van een link naar jouw site op de vele webdirectories die het internet rijk is, is een goede manier om de Googlebot naar je website te lokken.
Bovendien kun je Google rechtstreeks wijzen op het bestaan van je website. Dit doe je via Google Search Console. In het tabblad URL-inspectie voer je de URL van de homepage in en klik je op Indexering aanvragen. Als je navigatiestructuur in orde is, zal de Googlebot normaliter vanaf je homepage ook de onderliggende pagina’s indexeren. Maar je kunt voor de zekerheid ook voor iedere URL die je wilt laten indexeren afzonderlijk een indexeringsverzoek indienen.
2 – Je website staat (nog) op no-index
Tijdens het bouwen van een nieuwe website wordt doorgaans gebruikgemaakt van een testversie van die website. De pagina’s op deze site krijgen dan vaak de HTML-tag rel=”noindex” mee. Daarmee verzoek je de Googlebot (en bots van andere zoekmachines) om je website niet te indexeren. Vergeet je echter bij livegang van je website dit stukje HTML te verwijderen, dan zal de live-versie van je website dus ook niet geïndexeerd worden. Erg belangrijk om hieraan te denken dus, maar relatief eenvoudig en snel op te lossen wanneer je dit toch blijkt te hebben vergeten.
3 – Je verspert Google de toegang via robots.txt
Ook via het robots.txt-bestand kun je deze noindex-tag plaatsen. Maar daarnaast kun je in dit tekstbestandje ook robots de volledige toegang tot (delen van) je website ontzeggen. Zo zorg je er bijvoorbeeld voor dat een testomgeving of de admin-omgeving niet wordt geïndexeerd en kun je specifieke bots, die schade kunnen veroorzaken, buiten de deur houden. Maar gebruik je deze mogelijkheid op een verkeerde manier, dan kan het zijn dat je per ongeluk iedere bot weert.
Met de disallow-functie kun je namelijk bepaalde gedeeltes van je website afschermen. Paths – paden – noemen we dit. Dat wil zeggen dat je de toegang tot een bepaalde pagina én alle vertakkingen ontzegt. Stel dat in het robots.txt bestand van B&S Media het volgende zou zijn opgenomen:
| User agent: * Disallow: /blog/ |
Het sterretje achter user agent houdt in dat alles wat daaronder volgt bedoeld is voor iedere zoekmachinerobot. Je kunt in plaats van het sterretje bijvoorbeeld ook User agent: Googlebot invoeren. Dan gelden de rechten en beperkingen die volgen alleen voor deze bot, maar bijvoorbeeld niet voor de crawlers van Bing en Yahoo!. Met Disallow: /blog/ bedoelen we vervolgens dat de toegang tot het pad https://www.bsmedia.nl/blog/ geweigerd wordt. Daarmee sluiten we ook meteen de weg af naar alles wat achter /blog/ volgt. Iedere individuele blogpost wordt daarmee ook meteen ontoegankelijk voor de zoekmachines.
Je kunt natuurlijk een reden hebben om dit te doen, de mogelijkheid is er immers niet voor niets. Het kan echter voorkomen dat je per ongeluk het volgende commando in je robots.txt-bestand hebt staan:
| User agent: * Disallow: / |
Hiermee ontzeg je alle bots de toegang tot de homepage én alle pagina’s die achter de slash volgen. Met andere woorden: je gehele website mag niet bezocht worden, ook niet door Google! Dit is natuurlijk niet de bedoeling, maar het gebeurt opmerkelijk genoeg nog regelmatig. Ook iets om te checken dus, wanneer je website maar niet geïndexeerd wordt.
4 – Het .htaccess-bestand is de boosdoener
Naast het robots.txt-bestand kan ook het .htaccess-bestand (of eigenlijk: de .htaccess-extensie) ertoe leiden dat Google je website niet indexeert. Dit bestand is mede bepalend voor de toegankelijkheid van je website. Bij de bouw van of onderhoud aan een website wordt dit bestand vaak afgesloten, zodat de site tijdelijk niet toegankelijk is. Als de instellingen daarna niet op de juiste manier worden teruggezet, kan dit problemen opleveren en blijft de site al dan niet gedeeltelijk ontoegankelijk voor verkeer, dus ook voor de zoekrobot van Google.
5 – De Googlebot krijgt geen toegang via de server
Als we dan toch technisch bezig zijn: ook de server kan voor problemen zorgen. Hoe deze problemen precies kunnen ontstaan is afhankelijk van het type server waarop je website gehost wordt. In het kort komt het er in elk geval op neer dat het mogelijk is om via de server bepaalde bots te blokkeren, om het aantal aanvragen dat een server moet verwerken in te perken, zodat de server het allemaal nog aankan.
Bovendien bestaan er bots die je website langzamer maken, wat de gebruikerservaring natuurlijk weinig goed doet. Maar blokkeert je server per ongeluk álle bots, dan heeft ook de Googlebot geen toegang meer en kan deze je site dus niet crawlen en vervolgens indexeren. Merk je dus dat je website maar niet tevoorschijn komt in de Google-zoekresultaten? Neem dan ook even contact op met je webbouwer of de hostingpartij waar je je website hebt ondergebracht en vraag of de serverinstellingen het probleem kunnen vormen.
6 – WordPress staat indexatie niet toe
Draait je website op WordPress? Dan kan één enkele klik er per ongeluk toe leiden dat je website verborgen blijft voor Google. Onder het tabblad Instellingen in je dashboard vind je namelijk het kopje Lezen. Open je dit, dan zie je onderaan de pagina staan Zoekmachine zichtbaarheid, met daarachter een selectievakje: Blokkeer zoekmachines om deze site te indexeren. Belangrijk om te controleren dat dit vakje niet is aangevinkt, wanneer je WordPress-website niet geïndexeerd wordt!
7 – Je hebt je schuldig gemaakt aan black-hat SEO
Dit is een probleem van een heel andere orde. Het kan namelijk ook zo zijn dat je website niet meer vindbaar is in Google als gevolg van een zogeheten penalty van Google. De zoekmachine straft je dan af voor handelen in strijd met de reglementen van Google. Dit is bijvoorbeeld het geval wanneer je op onnatuurlijke wijze probeert te stijgen in de zoekresultaten. Black-hat SEO is de overkoepelende term die we gebruiken voor al deze bedenkelijke SEO-methoden.
Als je van Google een penalty ontvangt, krijg je hiervan een melding in Google Search Console. En waar de hierboven genoemde technische redenen voor het uitblijven van indexering relatief gemakkelijk op te lossen zijn, is dit bij een penalty allerminst het geval. Stel dat je bijvoorbeeld een heel onnatuurlijk linkprofiel hebt gecreëerd, door een grote hoeveelheid links te kopen op websites van lage kwaliteit. Dan moet je er eerst voor zorgen dat al deze links weer verwijderd zijn, alvorens je bij Google een heroverwegingsverzoek kunt indienen. Dat kan nogal wat tijd kosten en bovendien heb je nooit de zekerheid dat je je posities in de zoekresultaten weer terugkrijgt zoals je deze voorheen had.
8 – Google beschouwt je website als spam
Tot slot kan Google ook nog van mening zijn dat jouw website als spam beschouwd moet worden. Een team échte medewerkers van Google houdt zich hiermee dagelijks bezig. Dit team beoordeelt binnengekomen spammeldingen handmatig. Iedereen met een Google-account kan namelijk een website als spam rapporteren. Het kan dus zijn dat iemand echt van mening is dat je site niet deugt, maar het kan ook zijn dat iemand je bewust schade wil toebrengen.
Maar wanneer is er volgens Google dan sprake van spam? De zoekmachine beschrijft dit zelf als “pagina’s die proberen Google te misleiden om zo een hoge positie te verkrijgen”. Hieronder vallen het (ver)kopen van betaalde links, het tonen van aanstootgevende content, het bevatten van malware, het misbruik van Google-producten als Google Maps of Google AdSense, het schenden van het auteursrecht, het openbaar maken van privégegevens, phishing en het schenden van de richtlijnen voor rich snippets.
Wanneer jouw website als spam is beoordeeld door Google, ontvang je hiervan in Search Console een melding onder het tabblad Handmatige acties. Hier staat dan exact vermeld wat het probleem is en op welke pagina’s van je website zich dit voordoet. Het is nu zaak om de gemelde problemen op te lossen. Vervolgens kun je via het rapport van Google een nieuwe beoordeling aanvragen. Daarin moet je vermelden wat het probleem precies was en hoe je dit hebt opgelost. Binnen twee weken krijg je van Google hierop een reactie.
Kom je er niet uit? Neem gerust contact op!
Ben je nou zelf ook tegen het probleem aangelopen dat Google je website niet (meer) indexeert en blijken de mogelijke oorzaken die we hierboven hebben behandeld niet van toepassing? Neem dan gerust eens contact met ons op, dan kunnen we met je meedenken! En is je website wel gewoon geïndexeerd, maar lukt het maar niet om bezoekers binnen te halen? Dan kunnen onze SEO- en Google Ads-specialisten ongetwijfeld een hoop voor je betekenen. Voor vrijblijvend advies bel je 038 337 66 78 of stuur je een e-mail naar info@bsmedia.nl!
