User-agent: *    # применимо ко всем роботам
# Disallow: /      # запрещает индексирование всех страниц