建站常识

认识和理解网络爬虫有助于更好地优化网站

时间:2018-10-29 来源: 作者:

网络爬虫是SEO人员应该学习的基础知识之一,认识和理解网络爬虫有助于更好地优化网站。

一、网络爬虫简介

网络爬虫,是指按照一定的规则、自动抓取互联网上信息的程序组件或脚本程序。在搜索引擎中,网络爬虫就是搜索引擎发现和抓取文档的自动化程序。

二、网络爬虫产生的背景

互联网信息大爆炸,人们不满足于仅仅依靠开放目录等传统方式在网络上寻找一些东西,为了满足不同的人的不同需求,于是出现了网络爬虫。

三、网络爬虫面临的问题

搜索引擎架构的两个目标是效果和效率,也是对网络爬虫提出的要求。面对亿级网页数量,重复内容很高,在SEO行业重复率可能在50%以上,网络爬虫面临的问题是为了提高效率和效果,就需要在一定的时间内获得更多有高质量页面,摒弃那些原创度低、复制内容、拼接内容等页面。

PS:当然,在大网站发布出来的文章,尤其大站效应,尽管不是首发,但依然排名很好,甚至比首发站排名还好。

四、网络爬虫的分类和策略

网络爬虫有很多种类,简单介绍以下几种:

① 通用网络爬虫

通用网络爬虫,又称为“全网爬虫”,从一些种子网站开始爬行,逐步扩展到整个互联网。

通用网络爬虫策略:深度优先策略和广度优先策略。

② 聚焦网络爬虫

聚焦网络爬虫,又称为“主题网络爬虫”,预先选择一个(或几个)相关主题,仅爬行并抓取这一类的相关页面。

聚焦网络爬虫策略:聚焦网络爬虫增加了链接和内容评价模块,所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。

③ 增量式网络爬虫

增量式网络爬虫,是指对已经收录的页面进行更新、爬行新页面和发生变化的页面。

增量式网络爬虫策略:广度优先策略和PageRank优先策略等。

④ Deep Web爬虫

搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”,某些不能通过静态链接获得的页面称之为“深层网页”,Deep Web爬虫就是抓取深层网页的爬虫体系。

一般来讲,网络爬虫抓取策略分为三种:

1)广度优先

搜索完当前页面所有链接,才开始进入下一层。

2)最佳优先

根据一定的网页分析算法,比如链接算法和页面加权算法等,优先抓取更具有价值的页面。

3)深度优先

顺着一个链接一直爬行,直到某一页面再也没有链接,再开始爬行另外一条。但是一般都是从种子网站开始抓取,如果采用这种形式可能会造成抓取的页面质量越来越低,所以这种策略使用较少。


武汉优狐网络建站 一体化服务

网站基础服务

武汉网站建设提供域名注册、虚拟主机租赁、企业邮箱购买、网站ICP备案等网站基础服务产品
...

域名域名 空间空间 邮箱 备案备案

网站建设开发

武汉网站建设从网页界面设计、动效设计、前端执行到网站程序开发处处体现了高品质与丰富细节
...

设计设计 动效动效 前端前端 程序程序

售后技术维护

武汉网站建设免费向客户提供专业专心的全年网站售后技术维护、网站安全保障、网站数据备份等服务
...

365days365days 安全安全 备份备份

网站增值产品

>武汉优狐网络公司以营销为基本核心,提供搜索引擎优化、在线营销工具、移动分享等增值化服务产品
...

优化优化 营销营销 分享分享 二维码二维码