https://www.heise.de/hintergrund/Nachruf-Abschied-von-robots-txt-1994-2025-10752448.html?seite=all
Schade um dieses Ding!
Lasse robots.txt trotzdem noch bestehen!
Und es gibt da ja noch im HTML
<meta http-equiv="expires" content="86400">
<meta name="revisit-after" content="8 days">
<meta name="robots" content="follow">
Mit dem man versuchen kann etwas steuernd einzuwirken.
Ob die neuen “Freibeuter“ sich darum scheren?