HTTPS是基于tls和ssl加密的http协议,网络传输是加密的,因此它的安全是显而易见的,包括防窃听、篡改、劫持。
HTTPS的收录机制
1、Spider如何发现HTTPS
1)、根据网页中的超链接是否是HTTPS,网络中会有一些超链,如果是HTTPS会认为是HTTPS站点。
2)、根据站长平台提交入口的提交方式,例如主动提交,如果在文件当中提交的是HTTPS链接会以HTTPS的形式来发现。
3)、参考前链的抓取相对路径,第一个网页是HTTPS的,网站内容里面的路径提供的是相对路径,会认为这种链接是HTTPS。
4)、参考链接的历史状况,使用这种方式的原因主要是为了纠错,如果错误提取HTTPS会遇到两种情况,一种因为HTTPS不可访问会抓取失败,第二即使能抓成功可能展现出来的可能不是站长希望的,所以会有一定的纠错。
2、HTTPS链接的抓取
现在比较常见的两种,第一种是纯HTTPS抓取,就是它没有http的版本,第二个是通过http重定向到HTTPS,这两种都能正常的进行抓取跟http抓取的效果是一样的。
3、HTTPS的展现
对于HTTPS数据,展现端会有明显的提示。