目录
网页跳转为什么会有一个安全中心
之前一直有个疑惑,在逛知乎、简书这类网站时,遇到跳转链接,经常会有安全中心跳转提示,其实这很影响我的体验。
简单分析
除了在跳转外链时可以给用户一点警示外,在近日学习seo中发现,这也是一个防止爬虫外逃的好办法。我们看看这是怎么发生的。
一窥究竟
原理很简单
1.对每个跳转链接进行encodeURIComponent处理
>'https://www.jianshu.com/go-wild?ac=2&url='+encodeURIComponent('https://bjun.tech')
"https://www.jianshu.com/go-wild?ac=2&url=https%3A%2F%2Fbjun.tech"
知乎
简书
其中不同的是:知乎在每个a标签中都声明了
rel=“nofollow noreferrer”
其意义是告诉爬虫,这个链接不用去了。
2.在跳转之前先跳转到自己的安全中心
知乎
简书
这里两个网站的处理方式也有些不同,
- 知乎直接放了个a标签进行跳转,虽然这可以被爬虫识别,但因为之前声明了让爬虫不要来。
- 简书因为没有声明让爬虫不要来,所以没用使用a标签。而是选择了 location.replace。
总结
- 对于做内容的的网站,留住爬虫不要乱跑是很重要的。不然就是给别人引流,给后人乘凉,让阴兵借道了。
- 安全中心已经成为各大平台标配,也可以从侧面得知,如果能正儿八经的获得平台的推荐,那应该可以获得不少流量。
- 对于想从这些平台获得爬虫流量的,根据上文分析,可以放弃了。当然,在热文下面还是可以获得不少自然人流量的。
- 这个小破站还没有这个功能,赶紧去加 2021年7月8日
意外发现
简书中的微信文章可以直接跳转。嗯~~~那么说是花钱了?从这个思路说,维护安全中心的白名单,也是个小金矿了。
补充
2021年12月25日
对window.opener研究一波后发现,这个安全中心也可以有效的堵住旧版本浏览器中window.opener的安全问题。参考window.opener.location 安全风险讨论