Archive.org ignoriert robots.txt

Archive.org hat sich der Archivierung des Internets verschrieben. Und zwar in unregelmäßigen Abständen vom Internet in der derzeit gültigen Form der Speicherung. Es wird dabei praktisch alles archiviert, was Websites so hergeben. Dadurch hat man im Nachgang einen realistischen Blick auf das Web, meinetwegen am 26.06.2004. Der…