大型网站获取流量最重要的方式之一就是要大量收录,依靠大量长尾关键词获得流量,但是大网站很多收录都不充分,甚至一半都不到,利用IIS日志工具进行查看,也能发现有些页面存在问题,蜘蛛甚至几年都不曾到达,那么何谈收录和排名呢？对于小网站来说,即使网站架构不是很好,内部优化不是很健全,但也能收录大部分网页,因为本身内容太少,页面结构也简单,所以收录不是难事,但是对于上规模的网站,收录问题就不再是简单的问题。下边从几个方面和大家探讨一下。
URL优化：优化URL不是难事,但是是有意义的事情,大家可以看看越来越多的网站都把URL结构优化的非常简单易懂,容易抓取,尤其是很多B2C商城,以前URL路径都十分复杂,参数众多,现在都优化的非常好。虽然蜘蛛也抓取动态网页,但如果做成静态,对于有大量内页的大型网站,就能为蜘蛛的爬行减轻很多负担。
优化排版：排版的重要目的是让蜘蛛爬行的更加顺利,抓取的内容更好的获得排名。排版有问题的网站长尾排名会直接受到影响,比如同样的权重和收录,排版好的页面获得的排名要高于一般性的排版页面。影响排名的主要因素就是标签的合理使用、重要内容是否突出（比如靠左、靠前）。
优化翻页：翻页十分重要,如果网站内页比较多,很多页面蜘蛛是通过翻页才能够到达,一般来说,不宜超过三到四次点击,如果点击次数很多才能够到达,那么对于蜘蛛而言就会放弃抓取和收录。一般优化网站翻页需要从程序着手,比如一到十分页之后,底部最好有十到一百的翻页结构；另外一个方面,就是通过分小类的方法,多分一类别,就能减少很多点击次数,从而让蜘蛛更容易爬行和收录。

　　降噪优化：降噪优化主要是减少多余的程序代码,一般优化的重点就是JS与CSS,把一些花里胡哨的功能都去掉,把必须的JS封装进JS文件,把table布局的页面改变成为css,少使用flash和ajax脚本,大家可以想下,如果内页的模板中使用了这样的代码,那么如果有100w和内页,则相当于增添了100w个这样的程序,对蜘蛛而言,如果页面进行优化,就会节省很多时间用于收录其它页面。
robots优化：这点很多站长都忽略掉了,一个网站,如果功能比较强大,那么很可能同一页面就对应多个URL路径,比如在价格、颜色、尺寸等不同属性的页面,重复度极高,再比如静态、伪静态和动态之间,也有可能存在这个问题,所以必须在robots文件中禁止搜索引擎对页面的请求和爬行,这对于提高收录也是非常有帮助的。
nofollow标签：对于小网站和大网站,使用nofollow与否差别是非常大的。因为小网站一般收录都没有问题,小网站本身的内容就不多,而大网站情况则不同,很多收录都有障碍,所以要集中权重,把蜘蛛引导有价值的页面,对于一些没有价值的链接要nofollow掉。大型网站使用过nofollow后就会知道它的重要性,虽然它不能为你节省PR值,但一定能累积权重,把权重合理分配,大家可以看看一个门户的频道页,nofollow使用的非常得体。
到这里基本总结差不多了,其实网站的优化核心都类似,但是不同的网站,效果往往也是不同的。不同行业,不同规模,就会有不同结果。一些站长感觉很多基础性的东西不重要,其实基础性的东西往往在你网站达到某种规模的时候才能起到作用。