是否会引起问题？
在Joomla中，robots.txt中不允许使用CSS和模板。请帮助我找到一个解决方案，以决定是否禁止我即将发布的网站的CSS，模板等机器人使用。
#1 楼
Google最近更新了其准则，以正式声明您不应阻止访问robots.txt中的CSS或JS文件。这样可以确保Google抓取该网站时，可以完全像浏览器一样呈现它。如果阻止CSS或JS文件，则可能会损害您的网站在排名中的表现。
此处提供更多信息：更新我们的技术网站管理员指南以及此处：网站管理员指南
由于这是最近的建议，许多网站和CMS（例如Joomla）通常会在robots.txt。其背后的原因通常是搜索引擎不需要对这些文件进行爬网或编制索引，因此要阻止不必要的文件和目录被编制索引并节省“爬网预算”，通常会在robots.txt中阻止这些文件和目录。 >
评论
Google实际上已经说了很长时间了，您不应阻止JS和CSS（2012年3月的Matt Cutts视频），因为这可能会损害G抓取您的网站的能力，只是因为他们最近使它变得“更加正式”。
–怀特先生
2014年10月31日15:25
建议十年内不要阻塞CSS和JS。我知道搜索引擎的渲染似乎是新事物，但事实并非如此，包括简单JS在内的某些形式的渲染已经存在很长时间了。
– closetnoc
2014年10月31日下午16:36
附加说明（因为它经常与JS一起使用，所以有点相关）-关于通过主题/视图/ JSON / URi使路由可访问的任何控制器-您应屏蔽这些内容，否则您可能会遇到非主题区域被索引而不是使用数据方面。这是可有效阻止的“视图”区域，尤其是JS使用的诸如JSON之类的东西。 G通常会运行JS，查看JSON链接，然后访问它。导致错误，或者如果出现主题，则建立一半索引。多数民众赞成在一个全新的can-o-worms，但要注意。
– dhaupin
2014年10月31日20:54
对于Google所说的无论如何我们都必须做到的货运崇拜态度，我感到不得不表达强烈的异议。 Google还说，如果允许他们抓取图像，使用HTTPS等，您的网站将排名更高。通过遵守Google所说的一切，您只是在赋予他们更大的权力来提出更大的要求。归根结底，您是在为人类还是机器人建立网站？
–问题溢出
2014年11月1日，下午3:51
猜猜这取决于您在多大程度上依赖Google的良好排名？尽管像大多数事物一样，它只是众多因素中的一个很小的指标。就像您提到的那样，他们最近说HTTPs是一个很小的排名因素，但是我并没有将我从事的100个网站中的任何一个都更改为HTTPs，它们的排名还不错。
–最大
2014年11月1日下午6:52
#2 楼
您的robots.txt的策略应始终由以下问题回答：机器人不能爬行我的网站的哪些部分，机器人不能爬行哪些部分。机器人实现了自己的逻辑并具有多种用途（不仅Google拥有抓取工具...），因此，如果您假设打开的CSS和JS文件以某种方式“分散了”机器人的注意力，在机器人的黑匣子上，并假设机器人的当前实现和当前意图是什么。这不是有用的长期策略。
不要在机器人的域中进行思考，而应在Web的内容域中进行思考。
我想指出，robots.txt文件不是安全机制。
评论
我不认为Joomla默认会阻止这些文件-如果这就是您要暗示的内容？