Читая форумы, часто замечаю, что новички в веб-мастерстве задаются вопросом о рентабельности настройки файла robots.txt и вообще его существования на своём сайте. Кроме того, часто можно заметить сообщения, в которых форумчане утверждают, что их сайты живут без robots.txt и никаких отрицательных моментов от этого нет, а потому можно просто "забить".
И это самое большое заблуждение, которое может возникнуть при работе с этим файлом. Файл robots.txt однозначно нужен и написанию правил необходимо уделять много внимания. Более того, мне кажется, что было бы правильнее, если бы сайты без robots.txt пауки поисковых систем обходили стороной, а страницы с них не участвовали в результатах поиска. Однако тут поисковым гигантам виднее.
Чтобы более наглядно показать необходимость создания и настройки файла robots.txt, предлагаю ознакомиться с основными причинами, по которым ему уделяют внимание большинство веб-мастеров. Возможно, вы вкорне поменяете своё отношение к этому незаменимому файлу. Итак, поехали.
И это самое большое заблуждение, которое может возникнуть при работе с этим файлом. Файл robots.txt однозначно нужен и написанию правил необходимо уделять много внимания. Более того, мне кажется, что было бы правильнее, если бы сайты без robots.txt пауки поисковых систем обходили стороной, а страницы с них не участвовали в результатах поиска. Однако тут поисковым гигантам виднее.
Чтобы более наглядно показать необходимость создания и настройки файла robots.txt, предлагаю ознакомиться с основными причинами, по которым ему уделяют внимание большинство веб-мастеров. Возможно, вы вкорне поменяете своё отношение к этому незаменимому файлу. Итак, поехали.