 Подскажите как должен правильно выглядеть файл robots.txt |
 |
 ВходЗдравствуйте, Гость ( Вход | Регистрация )
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
  |
 Sep 5 2008, 14:59
Сообщение
#1
|
|
|
Я уже люблю АС  Группа: Пользователи Сообщений: 129 Регистрация: 6.2.2008 Из: Томск Пользователь №: 2,257 Спасибо сказали: 2 Вставить ник  |
По умолчанию файл robots.txt выглядит так:
User-agent: * Disallow: /admin/ Disallow: /ajax/ Disallow: /blocks/ Disallow: /config/ Disallow: /function/ Disallow: /modules/ Disallow: /templates/ Как надо изменить его для большей эффективности для индексации, и чтоб лишнего не открывать? |
 |
 
|
|
Sep 5 2008, 16:27
Сообщение
#2
|
|
|
Живу на АС  Группа: Администратор Сообщений: 2,898 Регистрация: 27.3.2007 Пользователь №: 1 Спасибо сказали: 1012 Вставить ник |
Для большей эффективности его не стоит трогать вообще. Всё что нужно уже прописано. Нет такого что можно прописать и идексировать будет лучше.
|
|
|
|
|
Feb 5 2009, 18:08
Сообщение
#3
|
|
|
Приблуда Группа: Пользователи Сообщений: 34 Регистрация: 11.11.2008 Из: Ростов-на-Дону Пользователь №: 6,222 Спасибо сказали: 2 Вставить ник |
По аналогии с некоторыми форумами, возник вопрос, может исключить из индексации также папки, как:
Disallow: /uploads/ Disallow: /setup/ Disallow: /images/ Зачем ботам там копошиться, увеличивая нагрузку?! |
|
|
|
|
Feb 6 2009, 00:44
Сообщение
#4
|
|
|
А нас мёдом не корми, Дай чего нибуть помалевать.  Группа: Дизайнеры Сообщений: 3,009 Регистрация: 23.9.2007 Из: Казахстан, Жезказган Рядом с Байконуром Пользователь №: 967 Спасибо сказали: 1247 Вставить ник |
А кто сказал что боты полезут в эти папки??? Там вроде по белому написано Disallow
Что запрещает роботу лезть туда. |
|
|
|
|
Feb 7 2009, 14:42
Сообщение
#5
|
|
|
Приблуда Группа: Пользователи Сообщений: 34 Регистрация: 11.11.2008 Из: Ростов-на-Дону Пользователь №: 6,222 Спасибо сказали: 2 Вставить ник |
ЦИТАТА(teletehnika @ Feb 5 2009, 23:44 )  А кто сказал что боты полезут в эти папки??? Там вроде по белому написано Disallow Что запрещает роботу лезть туда. По «белому» прописано ручками, а по умолчанию - эти папки не запрещены для ботов вообще в релизе. |
|
|
|
|
Feb 9 2009, 15:12
Сообщение
#6
|
|
|
Приблуда Группа: Пользователи Сообщений: 19 Регистрация: 11.2.2008 Пользователь №: 2,328 Спасибо сказали: 1 Вставить ник |
Можно прописать Дерективу: Host
и пусть до Sitemap Пример: Host: sait.ru Sitemap: http://sait.ru/sitemap.xml |
|
|
|
|
2 чел. читают эту тему (гостей: 2, скрытых пользователей: 0)
Пользователей: 0
|
Текстовая версия | Сейчас: 1 June 2024 - 13:59 |
