使用主机进行实时测试

Question

我将使用托管进行实时测试，但我想保护访问并防止搜索引擎索引。例如（服务器目录结构）public_html：

_private
_bin
_cnf
_log
_...（更多默认目录托管）
testPublic
css
图像
index.html
<
我想index.html是可见的每个人和所有其他目录（除了testPublic）是隐藏的，受保护的访问和搜索引擎不索引。

目录"testPublic"我希望它是公共的，但可能不会在搜索引擎中索引，不确定这是否可能。

要了解这一点，我需要2个文件。htaccess
一个通用于“public\u html”，另一个专用于“testpublic”。

这个htaccess-general（public_-html）我认为应该是这样的：

AuthUserFile/home/folder../。htpasswd
AuthName“测试！”
AuthType Basic
需要用户admin123

Answer 1

您可以在根文件夹中使用robots.txt文件。所有遵守标准的机器人都会遵守这个文件，不会索引你的文件和文件夹。

示例Robots.txt，它告诉所有（*）爬虫继续前进，并且没有索引。

User-agent: *
Disallow: /

你可以用。htaccess文件来微调服务器（假设Apache）提供的服务以及哪些目录索引是可见的。在这种情况下，您可以添加

IndexIgnore *

到您的. htaccess文件中禁止索引。

更新（贷记至）https://stackoverflow.com/users/1714715/samuel-cook):

如果你想明确地停止一个bot/爬虫并知道它的USER AGENT字符串，你可以在你的. htaccess中这样做

<IfModule mod_rewrite.c>
  RewriteEngine on
  RewriteCond %{HTTP_USER_AGENT} Googlebot
  RewriteRule ^.* - [F,L]
</IfModule> 

希望这能有所帮助。