Seit ein paar Tagen missachtet Slurp das disallow im robots.txt. Es
scheint nur der Robot beginnend mit dem IP-Block 74.6. betroffen zu
sein und die Missachtung ist auch nicht generell, kommt aber immer
wieder vor. Habt Ihr das auch festgestellt?

Viele Grüße,

Klaus