Внедрив тег на страницу, вы сможете без участия файла robots.txt заблокировать её индексацию. Метатег robots позволяет эффективнее блокировать страницы к индексированию. В частности, для Google это более важный сигнал, чем инструкции в файле robots.txt. […]