
Originally Posted by
crazy-mike
просто не надо пытаться "раскручивать" сервиcные сайты.
У меня индексаторы когда-то полезли в каталог , где находились скрипты для работы с БД - хотя в главном каталоге и стояло внутри robots - noindex (или ещё что-то такое ).
Представь мою реакцию - когда мне пришло уведомление о приостановке работы сайта из-за слишком большой нагрузки на сервер БД! :grum:
Вообще-то надо было просто внутри скриптов проверку вставить - но я просто думал , что если каталог закрыт для индексаторов , то подкаталоги индексироваться не будут.