Webcontent verstoppen voor Google

Ik heb op de webserver van mijn website subdirectory’s aangemaakt die ik gebruik om bestanden uit te wisselen met kennissen. Op die directory’s zit geen wachtwoord. Kan Google bij de bestanden die daarin zitten?

In principe kunnen Google en andere zoekmachines de inhoud van dergelijke directory’s indexeren als ze niet beveiligd zijn. Als een zoekmachinerobot ergens een link vindt naar een van de bestanden die daarin staan, mag je ervan uitgaan dat dergelijke diensten die ook volgen en de bestanden kunnen indexeren. Die links hoeven niet eens op jouw website te staan, maar kunnen ook per ongeluk door je kennissen buiten gezet zijn. Er is een standaard waarmee je zoekmachines de toegang tot bepaalde pagina’s of directory’s op een webserver kunt verbieden. Dat is de zogenaamde Robots Exclusion Standard. Die standaard is niet juridisch bindend, maar naar onze ervaring houden de bekende zoekmachines zich er wel aan. Een voorbeeld voor het configuratiebestand robots.txt staat bij de link hieronder. Dat is natuurlijk geen waterdichte beveiliging. Als je je bestanden werkelijk geheim wilt houden en rustig wilt kunnen slapen, zul je ze moeten versleutelen met een sterk wachtwoord (bijvoorbeeld in een zip-archief).