Нужна помощь
robots.txt
Создана: 02 Декабря 2003 Втр 19:13:42.
Раздел: "Нужна помощь"
Сообщений в теме: 7, просмотров: 1356
-
02 Декабря 2003 Втр 19:13:42robots.txt - что это, как это, для чего это, какая от этого польза.
Знающие люди я думаю поймут о чем речь
(я надеюсь 
) -
02 Декабря 2003 Втр 19:21:07vadime писал
:robots.txt - что это, как это, для чего это, какая от этого польза.
Это файлик для искалок.
Когда правильная искалка лезет на сервер, она запрашивает этот файлик, чтобы узнать из него кое-какую полезную для себя информацию.
Обычно туда записываются те директории, которые искалка сканировать не должна.
Таким образом, пользы от этого две:
1) если надо запретить индексирование неких директорий, то достаточно это указать в "роботсе", и искалки туда не полезут.
2) если надо посмотреть на каком-нибудь сайте, какие директории они почему-то не хотят индексировать, достаточно скачать файлик "роботс" и всё понять :)
Например:
[внешняя ссылка] -
-
02 Декабря 2003 Втр 22:24:50
Да, файлик robots.txt весьма полезный для поисковых роботов. Он позволяет управлять действиями робота, а точнее запрещать/разрешать ему индексировать те или иные разделы, страницы сайта. Пишется он элементарно.
Неплохо по-русски написано про роботс.тхт, и про его формирование здесь: http://www.rambler.ru/doc/robots.shtml. Посмотри, походи по разделам там есть чему поучиться...
Удачи!
-
03 Декабря 2003 Срд 0:57:01и кто им пользуется?:) ... мне кажется на запреты бот МОЖЕТ БЫТЬ и посмотрит ... а вот на пожелания о том где лучше кешировать ему глубоко всё равно ... куда больше ссылок идет - туда и пойдет
-
03 Декабря 2003 Срд 2:13:58Гном Весельчак писал(а):и кто им пользуется?:) ... мне кажется на запреты бот МОЖЕТ БЫТЬ и посмотрит ... а вот на пожелания о том где лучше кешировать ему глубоко всё равно ... куда больше ссылок идет - туда и пойдет
Да кажись все большие ресурсы пишут его, хотя бы так для пунктика, для успокоения собственной совести
Чтобы потом если что себя не корить...
Вот поэтому мы и делаем allow на всё
А ты где пропал? В аське тебя давно не видать...
-
03 Декабря 2003 Срд 14:03:08вот такую статью нашел, на русском:
http://www.webmascon.com/topics/adv/8a.asp
эх.. учится надо и еще раз учится.
