关于众多公共网站或平台上的robots.txt文件，正确的描述是（）。A．robots.txt每个网站都有呈现给访问者B．作为数据爬取者，不必要关注robots.txt声明的内容C．每个网站或平台的robots.txt文件都是相同的D．表明该网站或平台中不想被spider访问的部分，或者指定搜索引擎只收录指定的内容
关于众多公共网站或平台上的robots.txt文件，正确的描述是（）。
A．robots.txt每个网站都有呈现给访问者
B．作为数据爬取者，不必要关注robots.txt声明的内容
C．每个网站或平台的robots.txt文件都是相同的
D．表明该网站或平台中不想被spider访问的部分，或者指定搜索引擎只收录指定的内容
参考答案和解析
D
相关考题：
在一个网站平台上发布房源信息，要想在众多信息中脱颖而出，在图片质量和文字描述上应做到（ ）。A.标题描述要醒目B.重点宣传优势项目C.夸大核心卖点，吸引顾客D.追求房源图片的质量E.房源描述详尽
下面关于网站文件的组织管理的说法，正确的是（）A、在网站开发期间，开发人员需设计好所有网页文件和网站资源文件的组织结构B、网站文件组织管理的关键是Web网站的目录结构C、对于企业电子商务网站来说，通过文件的组织管理可以使网站管理员在web界面中方便地管理企业的网站
以下关于XML网站地图的表述不正确的是：（）A、XML网站地图文件最多可列出5万个URLB、XML网站地图文件最大不能超过10MBC、XML网站地图上列出的链接都能被搜索引擎收录D、一个网站可以有多个XML网站地图文件
某网站禁止百度蜘蛛索引所有网页，以下robots.txt文件正确的是：（）A、{User-agent：BaiduspiderDisallow：}B、{User-agent：BaiduspiderAllow：*}C、{User-agent：BaiduspiderAllow：/}D、{User-agent：BaiduspiderDisallow：/}
下列选项中，关于robots.txt文件的说法正确的是（）A、robots.txt文件存放于空间根目录下B、robots.txt是搜索引擎蜘蛛访问网站的时候要查看的第一个文件C、如果robots.txt不存在，搜索引擎蜘蛛将能够访问网站上所有未被口令保护的页面D、robots.txt文件只需要存放在空间任意位置就行
关于网络爬虫协议文件robots.txt，说法错误的是（）A、一个网站可以放多个不同robots文件B、robots文件不可以用xml格式命名C、disallow用来描述不希望被访问到的一个URLD、robots文件可以放在任何位置
关于嵌套网站地图文件的说法中，（）是正确的。A、网站地图文件必须在网站根文件夹下。B、网站地图文件必须在App_Data子文件夹下。C、网站地图文件必须和引用的网页在同一个文件夹中。D、Web.sitemap必须在网站根文件夹下
在Dreamweaver中，关于“网站相册”的功能，下面描述正确的有（）。A、所谓的“网站相册”，就是单击主页面上的小图片时在新页面打开相应的大图片B、图像文件可以是任意类型C、创建“网站相册”，电脑中必须要安装Fireworks4或更高版本D、源文件夹名、目标文件夹名及指向文件夹的路径中不能含有中文
Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）A、"User-agent：*Disallow：/A"B、"User-agent：Allow：/A"C、"User-agent：Disallow：/"D、"User-agent：*Allow：/"
关于robots文件下面说法正确的是（）。A、一个网站可以放多个不同robots文件B、robots文件不可以用xml格式命名C、disallow用来描述不希望被访问到的一个URLD、robots文件可以放在任何位置
下列关于用gateface制作个人网站的描述中哪些是正确的？（）A、网站是保存在自己电脑上，不用服务器B、注册的昵称就是网址，不用申请3W域名C、制作网站过程不用写任何代码D、网页内容支持WORD编辑或导入WORD文件
多选题下列关于用gateface制作个人网站的描述中哪些是正确的？（）A网站是保存在自己电脑上，不用服务器B注册的昵称就是网址，不用申请3W域名C制作网站过程不用写任何代码D网页内容支持WORD编辑或导入WORD文件
多选题下面关于网站文件的组织管理的说法，正确的是（）A在网站开发期间，开发人员需设计好所有网页文件和网站资源文件的组织结构B网站文件组织管理的关键是Web网站的目录结构C对于企业电子商务网站来说，通过文件的组织管理可以使网站管理员在web界面中方便地管理企业的网站
多选题在Dreamweaver中，关于“网站相册”的功能，下面描述正确的有（）。A所谓的“网站相册”，就是单击主页面上的小图片时在新页面打开相应的大图片B图像文件可以是任意类型C创建“网站相册”，电脑中必须要安装Fireworks4或更高版本D源文件夹名、目标文件夹名及指向文件夹的路径中不能含有中文
单选题某网站禁止百度蜘蛛索引所有网页，以下robots.txt文件正确的是：（）A{User-agent：BaiduspiderDisallow：}B{User-agent：BaiduspiderAllow：*}C{User-agent：BaiduspiderAllow：/}D{User-agent：BaiduspiderDisallow：/}
单选题关于嵌套网站地图文件的说法中，（）是正确的。A网站地图文件必须在网站根文件夹下。B网站地图文件必须在App_Data子文件夹下。C网站地图文件必须和引用的网页在同一个文件夹中。DWeb.sitemap必须在网站根文件夹下