Если вы раньше никогда не слышали о файле robots.txt, то изложенная ниже информация сможет частично устранить этот пробел в познаниях.

Очень маленький по размеру, всего в две строчки текстовый файл robots.txt имеет очень весомое значение для правильной и быстрой индексации вашего сайта. Прошу об этам не забывать - его наличие в корневой директории сайта является обязательным.

Сразу акцентирую ваше внимание на то, что, независимо от того, с помощью какой CMS создан ваш сайт или он вообще был создан путем ручного написания кода файл robots.txt должен быть именно текстовым, т.е после точки иметь расширение txt.

Так вот, ваш сайт (не расстраивайтесь - ведь и мои тоже) изначально есть не более, чем крупинки песка в этой пустыне. И для того, чтобы посетители находили ваш сайт и, соотвественно, посещали его, нужно очень постараться.

В противном случае сайт так и останется далеко на задворках истории Интернета и, кроме вас и ваших друзей, вряд ли его кто - либо будет посещать. Соответственно, финансовой пользы от обладания таким сайтом иметь вы не будете.

Такова жестокая реальность. Все вышеизложенное написано не с целью напугать вас и отбить охоту работать дальше. Просто есть необходимость акцентировать ваше внимание на серьезном отношении к этому и последующим разделам касательно оптимизации сайта, т. е. подгонку вашего ресурса под шаблон качественного сайта по мнению поисковой системы.

Для того, чтобы вы имели представление о том, как это происходит, читайте дальше. Роботы поисковых систем постоянно сканируют Интернет в поисках новых сайтов и переиндексации уже им известных.

Обнаружив ваш сайт, робот заходит на него и первым делом ищет в корне сайта файл robots.txt, из которого получает инструкции о том, какие файлы можно индексировать, а какие нет.

Эти самые инструкции в файле пишите вы сами. Если есть основания не предъявлять роботу для индексации какие - либо файлы (все на ваше усмотрение), то вы об этом указываете. В противном случае, что бывает в большинстве вариантов, позволяете роботу индексировать все.

Для этого нужно создать и положить в корень вашего сайта (именно в корень!) файл следующего содержания, который должен иметь название robots.txt:

User-agent: *
Disallow:

Просто скопируйте и вставьте в свой файл robots.txt, ничего в нем не меняя. Это важно. Получив инструкции, робот проходит по всему вашему сайту, анализирует контент и проходит по ссылкам. Иногда робот за первое посещение индексирует всего несколько страниц, а через время возвращается и индексирует остальные.

И еще один немаловажный момент, на который стоит обратить внимание. Есть такое понятие, как зеркало сайта. Как это не парадоксально, но поисковые системы один и тот же сайт оценивают и воспринимают сайт с www или без этого обозначения, как два разных сайта.

Поэтому решайте сразу для себя, как вам больше нравится, чтобы подсказать поисковой системе название своего сайта, которое будет основным.

User-agent: *
Disallow:
Host: здесь адрес вашего сайта с www или без этого.

Ничего не перепутайте: только один вариант. Соблаговолите не ошибиться.

Есть и другие инструкции, которые можно использовать в файле robots.txt и которыми поисковые системы будут руководствоваться при посещении вашего сайта. Однако это отдельная и достаточно сложная тема. На данном этапе предложенной информации вам будет достаточно, а для особо пытливых и любознательных есть много информации в Интернете.

Уж если быть точным, то ситуация с постепенной индексацией сайта роботом Яндекса происходит чаще всего. Представьте себе, что ежедневно я Рунете появляются тысячи новых сайтов. Пусть немногие, но некотрые все же имеют по несколько тысяч страниц.

А еще на миллионах сайтов добавляются новые страницы и вносятся просто изменения, которые поисковые системы просто обязаны отслеживать ибо, в противном случае, они просто не смогут выдавать объективную информацию по поисковым запросам пользователей.

Вот и получается, что при всем желании роботы поисковых систем при всем желании просто не в состоянии индексировать моментально каждый новый сайт.

Страшного в этом нет ничего. При этом робот поисковика производит анализ сайта по одному ему известному алгоритму (естественно заложенному его создателями).

Меня удивляют высказывания на некотрых сайтах о том, что достаточно знать алгоритмы, по которым работает поисковая система Яндекс и все будет хорошо. Смею возразить - кроме создателей поискового робота их не знает никто.

Эта информация составляет тайну особой важности абсолютно любого поисковика, в том числе и Яндекса. Есть общие рекомендации, которые действительно нужно выполнять и без их выполнения невозможно будет попасть не то что в первую сотню выдачи, но даже в первую тысячу - с этим я согласен.

Эти рекомендации основываются на личном опыте предшественников, которые прошли свой путь 'методом тыка', отсеивая неудачные изменения на своих сайтах и оставляя и улучшая удачные изменения. К чужому опыту я добавил свой и получилось то, что вы сейчас читаете.

Но никто точно и конкретно не сможет пояснить, по каким именно параметрам один сайт находится намного выше другого, хотя они здорово походи между собой и по оформлению, и по стилю, и по контенту и по многим другим внешним и внутренним параметрам.

А для этого нужно всего лишь знать рекомендации. Об этом и многом другом, что действительно важно и полезно знать при оптимизации сайта, вы и сможете узнать в последующих разделах моего сайта.

Если вам лень знакомиться с моим опытом или вы посчитаете мои рекомендации недостаточно авторитетными для себя, можете просто посмотреть HTML коды сайтов, находящихся в первой десятке по вашему запросу (интересующей вас теме) и анализировать их самостоятельно.

Вполне допускаю, что у вас это может получиться лучше и вы найдете те крупинки удачных решений, которые вывели этот конкретный сайт в лидеры или так называемый ТОР.

Удачи в удаленной работе.