Индексация сайта

Индексация сайта – это обход роботами поисковых систем сайта, и внесения его в базу. Поисковые роботы заносят в базу информацию о сайте и всех его страницах, которые доступны для поиска. Поисковой бот индексирует ссылки, изображения, видео, и другие элементы на сайте.

В настоящий момент сайт находится на обновление и необходимо закрыть контент от индексации поисковых систем до полного завершения работы.
для этого в файле robots.txt - файл, предназначенный для роботов поисковых систем. В этом файле нужно указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
делаю запись:

User-agent: *
Disallow: /

А таким образом можно закрыть сайт от всех поисковых систем (Яндекса, Google и других).пока сайт не будет окончательно готов