搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
Google喜欢的17类内容：1. 采访 2. 列表 3. 知识库或资源中心 4.社交媒体内容 5.民意测验和调查 6.修订/更新 7.评论 8.对比 9.新闻 10.案例分析/研究 11.撰写一篇充满热情的评论性文章 12.讲故事 13.预言或预测 14.假设 15.无聊的和有趣的 16.比赛 17.定价
做好搜索需要什么样的境界，怎样才能做好搜索?虽然题目可能有些大，但这是我做搜索这段时间来一些很深但又很浅的感悟。说浅，看起来似乎很普通，说深，做好真的很难。经常和很多公司做搜索的朋友们聊天，也会和人讨论一些新的形态，其中看到一些观点1. 现有的搜索会被颠覆，颠覆其的多种多样，有app、有社交搜索、也有其他形态2. 搜索的技术会出现重大革新，远远领先于现有的产品一个时代3. 某某搜索要努力在短时间快速提升，达到某某的水准
相关统计数据表明：互联网上近似重复的网页的数量占网页总数量的比例高达29%，完全相同的网页大约占网页总数量的22%.研究表明，在一个大型的信息采集系统中，30%的网页是和另外70%的网页完全重复或近似重复的。即：互联网的网页中相当高的比例的网页内容是近似相同或完全相同的!搜索爬虫抓取会产生网页重复的类型：1.多个URL地址指向同一网页以及镜像站点。2. 网页内容重复或近似重复。
当初人们发现，搜索已成为网民获取信息的主要方式，而这种产品对国家安全战略是有重大影响的。搜索公司完全能决定网民看什么不看什么，这在传播上无疑是扼住了出口。靠国家投资过日子，就一定会缺乏动力，没有创业激情，而且做事情也会畏畏缩缩，举步不前。不如全部推向市场，按市场规律办事，没准还会有不错的发展。
无论是百度来路统计还是关键词，这些SEO数据是非常难控制的，需要强大的数据分析能力。因为每个站长工具的原理都有不同，数据来源是非常大的难题。如果要控制某一关键词的SEO效果，不能单单从SEO角度出发，还要考虑其商业对搜索引擎的影响，搜索引擎的算法天天变，谁也不知道算法的全部细节和未来变化。所以建议站长不必过分关注SEO数据，单纯的SEO没有前途。
前言：一件真事，朋友的朋友屌丝一枚，广州做过快递，后来京。不愿上班，在朋友资助下开始做淘宝，由于时间充裕且努力，头一个月收入达到4000块，昨天一起吃饭时得知的消息，感到意外，所以未来卢松松也会逐渐关注淘宝这一块，希望能帮到更多淘宝卖家。这篇文章为淘宝搜索负责人「鬼脚七」缮写的文章，应该说有较大的学习价值。本文分为四大类别：第一部分为：反作弊的知识。第二部分为：搜索功能的知识。第三部分为：搜索排序知识。第四部分为：搜索资源。
百度整合搜索上已经逐年完善，其中为了让用户更加放心的选择，百度对其高质量整合的资源加强了肯定，主要体现在“以上信息由百度整合提供”。资源信息的整合优势越来越明显，作为一名网络营销人员不得不去深入进行研究，抓准先机是关键。而百度搜索引擎算法的调整一切都基于用户体验考虑，百度中整合搜索更是体现了这一观点。那么，百度对整合搜索进行了那些拓展以及完善呢?
很少有人能关注到雅虎的SEO优化。没错，雅虎在中国的份额太少了，而且它很难给网站带来流量。不过最近卢松松观察了雅虎的「站长专区」，发现还是有很多价值的。完全可以运用到百度、Google当中。重要的是雅虎说的非常直白。有两个重要信息我认为值得分享一下
就一个正常的搜索引擎程序来说，从蜘蛛程序抓取网页数据，到最后显示在用户的搜索结果页面里，应该都是完成的计算机程序流程，而非人工筛选。 所以相对的就有些人，会利用计算机规则中的漏洞进行非法欺骗搜索引擎的行程，而这看似无害的动作，却可能引起搜索引擎的反感，进而对该网站进行惩罚。 每一个搜索引擎都有针对作弊行为的侦测程序
小知识： 高斯模糊是图像处理中广泛使用的技术、通常用它来减小噪声以及降低细节层次。这种模糊技术生产的图像的视觉效果是好像经过一个半透明的屏幕观察图像。高斯模糊也用语计算机视觉算法中的预处理阶段以增强图像在不同尺寸下的图像效果。 通常，图像处理软件会提供"模糊"(blur)滤镜，使图片产生模糊的效果。 "模糊"的算法有很多种，其中有一种叫做高斯模糊
感谢Mr.Zhao投稿： 有很多人问过我，说Mr.Zhao啊，百度如何判断伪原创和原创?百度喜欢什么样的文章?什么样的文章比较例如获得长尾词排名?等等诸如此类的问题。面对这些问题，我常常不知如何回答。如果我给一个比较大方向一些的答案，例如要重视用户体验、要有意义等等，那么提问者会觉得我在应付他，他们往往抱怨说这些太模糊。可是我也没法再给出具体的内容，毕竟我不是百度，具体算法我又何德何能的为你们指点
在我们的网站管理员帮助论坛里，站长们问的最多的就是关于链接的问题。很多站长询问一旦网站因为链接的原因被处理，应该怎样申请重新审核。也有很多站长询问关于买卖链接方面的问题。在我们的网站管理员博客中，我们也曾发表过很多关于链接的博客。为了方便大家查询，在这篇博客中我们会整理一些常见的问题
百度曾在站长贴吧里做过这样一个回复：从用户体验角度，“有些转载未必比原创差”。比方一篇科技原创博文，被知名门户网站的科技频道转载。如果这种转载保留原创者姓名和出处链接，实际上对原创者是有利的，因为起到了更好的传播效果。只是国内的转载，很多是掐头去尾，使原创者比较受伤。 据资料表明近似重复网页的数量占网页总数的的比较高达全部页面的29%，而完全相同的页面大约占全部页面的22%
搜索引擎的快速发展也就是近15年发生的，这与互联网的发展趋势密切相关，本文介绍了搜索引擎未来发展的8个趋势，无论是个性化搜索、实时搜索、社会化搜索、地理感知搜索、多媒体搜索、跨语言搜索。同时，移动设备的逐渐流量及两大趋势的融合，催生了很多新型应用，为了迎接和顺应这种趋势，对搜索引擎来说，也产生了新的挑战，本文将阐述未来搜索引擎的发展趋势。纯属个人观点
robots.txt是一种存放于网站根目录下的文本文件，用于告诉搜索引擎的爬虫(spider)，此网站中的哪些内容是不应被搜索引擎的索引，哪些是可以被索引。通常认为，robots.txt文件用来搜索引擎对目标网页的抓取。 robots.txt协议并不是一个规范，而只是约定俗成的，通常搜索引擎会识别这个文件，但也有一些特殊情况
