爬虫资讯

爬虫类资讯

你的robots协议文件写对了吗?

bigdataway 提交于 周四, 01/19/2017 - 21:32

陕西SEO优化师作为师,都知道robots.txt 在整站SEO优化中的重要性,如果说,你还不知道,那你下去就应该好好研究下了。

robots.txt是根据搜索引擎协议写出的文件,放在网站的根目录下,用来告诉搜索引擎这个网站里面是哪些是可以抓取的,哪些是不能抓取的,当然这只是一份协议而已,不是命令,如果搜索引擎不遵守此协议也是会直接抓取所有内容的。

未成年人网络保护 应重视网上内容管理

bigdataway 提交于 周四, 01/19/2017 - 21:32

国务院法制办公室近日公布《未成年人网络保护条例(送审稿)》,向社会公开征求意见。多数媒体在报道这一消息时,不约而同抓取了草案中的同一条款:任何组织和个人不得通过虐待、胁迫等非法手段从事预防和干预未成年人沉迷网络的活动,损害未成年人身心健康,侵犯未成年人合法权益。更有媒体乐观预测:殴打、电击、药物、体罚等,在各种网戒学校“大显神通”的针对网瘾少年的戒瘾手法,将有望彻底消失。