# Frieda 2004-10-15: # vanwege de kapotte topics hebben we # (Jos, Lex, ik) gezamelijk bedacht dat het beter is om de # robots (Google vnl.) wijs te maken dat ze de cgi-bin directory # niet indexeren. # In de praktijk was het probleem dat er in Google referenties voorkwamen als # "http://www.msweb.nl/cgi-bin/ultimatebb.cgi?ubb=reply&f=5&t=000092&replyto=000006", # en dan nog wel voor niet meer bestaande topics. # Als die referenties aangeklikt werden, reageerde de forum-software (Infopop UBB 6.04d) # daarop door het topic (opnieuw) aan te maken, maar het was wel hartstikke mank... # Kortom: om dat te voorkomen, leiden we de zoekmachines maar om. # # Frieda 2007-05-12: aangepast voor nieuwe (a.s.) forumdirectories # Frieda 2007-09-16: Google mag nu wel /forum bekijken. Andere bots niet. # Bedoeling is om als we ons bedenken, dat makkelijk terug te kunnen draaien. # Frieda 2007-11-27: Google toch maar uit de kalender proberen te houden. # Daar zien we hem wel heeeeel lang in rondhangen. # User-agent: Googlebot Disallow: /cgi-bin/ Disallow: /forum/calendar.php Disallow: /forum/includes/functions_calendar.php Disallow: /forum/admincp User-agent: * Disallow: /cgi-bin/ Disallow: /forum/