Softlink 1709088

c't 9/2017, p. 99

Tot hier en niet verder

De aankondiging van Archive.org

De mening van het Archive Team over robots.txt

Bot Traffic Report

Robots Exclusion Standards

Googles testtools

Opsomming van Googles crawlers

Googles uitleg over robots.txt

Nog meer hulpmiddelen van Google

Gangbare bots