-
今日,百度站长平台Lee撰文介绍了索引系统的相关问题概述。罗列出了如何能够在最快的速度内返回用户查找结果,从而提高用户体验度的相关信息。
搜索引擎索引系统概述原文如下:
众所周知,搜索引擎的主要工作过程包括:抓取、存储、页面分析、索引、检索等几个主要过程。过去几周给大家介绍了抓取相关的简要过程。今天简要介绍一下索引系统,以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针,也许一定的时间内可以完成查找,但是用户等不起,从用户体验角度我们必须在毫秒级别给予用户满意的结果,否则用户只能流失。怎样才能达到这种要求呢?
如果能知道用户查找的关键词(query切词后)都出现在哪些页面中,那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程,而检索即变成了页面名称之间的比较、求交。这样,在毫秒内以亿为单位的检索成为了可能。这就是通常所说的倒排索引及求交检索的过程。如下为建立倒排索引的基本过程:
(1)页面分析的过程实际上是将原始页面的不同部分进行识别并标记,例如:title、keywords、content、link、anchor、评论、其他非重要区域等等;
(2)分词的过程实际上包括了切词分词同义词转换同义词替换等等,以对某页面title分词为例,得到的将是这样的数据:term文本、termid、词类、词性等等;
(3)之前的准备工作完成后,接下来即是建立倒排索引,形成{termàdoc},可以粗略的理解为如下,为什么是【term->doc】,而不是直接应用【doc->term】呢?
上述即是索引系统中的倒排索引过程,是搜索引擎实现毫秒级检索非常重要的一个环节。
2013年10月28日更新:
上面简要介绍过了搜索引擎的索引系统,实际上在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这涉及到的过于技术化在此就不多提了。今天简要给大家介绍一下索引之后的检索系统。
检索系统主要包含了五个部分,如下图所示:
(1)Query串切词分词即将用户的查询词进行分词,对之后的查询做准备,以“10号线地铁故障”为例,可能的分词如下(同义词问题暂时略过):
10 0x123a**
号 0x13445d
线 0x234d
地铁 0x145cf
故障 0x354df
(2)查出含每个term的文档集合,即找出待选集合,如下:
0x123a** 1 2 3 4 7 9…..
0x13445d 2 5 8 9 10 11……
……
……
(3)求交,上述求交,文档2和文档9可能是我们需要找的,整个求交过程实际上关系着整个系统的性能,这里面包含了使用缓存等等手段进行性能优化;
(4)各种过滤,举例可能包含过滤掉死链、重复数据、色情、垃圾结果以及你懂的;
(5)最终排序,将最能满足用户需求的结果排序在最前,可能包括的有用信息如:网站的整体评价、网页质量、内容质量、资源质量、匹配程度、分散度、时效性等等,之后会详细给大家介绍。
文章来源:百度站长平台
相关文章:搜索引擎抓取系统概述
顶: 0 踩: 0来源:卢松松博客 QQ/微信:13340454
站长平台lee:搜索引擎索引系统概述
| 阅读量 | 分类: 好文分享 | 作者: 卢松松
相关文章阅读更多:搜索引擎 百度
- 2023-11-24 免费时代结束:百度云加速取消所有免费套餐
- 2023-11-22 AI原生应用为百度带来新增量
- 2023-11-16 体验文心一言“一镜流影”功能,实现短视频批量制作
- 2023-09-27 百度搜索逐步恢复优质网站权限
- 2023-09-06 被百度判定为低质量网站了!如何整改?
- 2023-09-04 百度大量删站在持续进行中
- 2023-09-02 百度搜索清理大量低质量网站
- 2023-08-23 百度23Q2财报最新发布:营收利润加速增长,AI+生态战略渐显规模
- 2023-07-03 百度百科上线的“超级名片”
- 2023-06-29 百度指数屏蔽“移民”等关键词指数
- 2023-06-10 百度新闻源调整:自媒体权重降低,官方媒体优势突显
- 2023-05-17 百度分拆小程序业务:小程序不行了?
- 2023-05-15 百度搜索流量下降至39.64%,Bing和Yandex上升
- 2023-05-11 百度内测AI搜索框了,全员免费使用
- 2021-09-08凡是在卢松松博客投稿的作者都有机会得到IT类图书哦!
发表感想加入微信群
囧闻
中山婚纱
艺馨
推广者博客
尼尔
囧事
诸葛小觉