BaiduGooglespider360,spider,spider,theseareafewofthecommonsearchenginespiders,spidersareoftenonlyaccess,isthewebsitetogetgoodrankings,sotherelationshipbetweenthewebsiteandthespidertodoagoodjob,isoneofthewebmasterconcern.searchenginespidersuseextremelycomplexcrawlingstrategytotraversetheInternetsite,http://www.jyxdx.com/guestbook.asp,butalsotoensurethatthesite'suserexperienceisnotaffectedbythecomprehensiveconsideration,grabmorevaluableresources.Spiderwillfollowtheinternalandexternalchainentrancetovisitmorewebpages,thewebpageinformationstoredinthedatabase.Likethelibraryasadifferentclassificationofbooks,http://www.lzkaiwenschool.com/school/wygkcn_GuestBook.asp,andfinallycompressedintotheirownwaycanbereadontheharddisk,forthesearchfor.Searchenginespiderscrawlprinciple,SEOinordertodeveloparegularwebcrawlingspider,youshoulddothefollowingthreepoints:a,highquality,regularupdatewebsitecontent.first,searchenginespidersliketograbthelawtoupdatethesite.Inacertainsense,theupdatefrequencyofthewebsiteisproportionaltothefrequency.Evenifthesitedoesnothaveaspidertograbthearticle,butalsoregularlyupdated.Sothatthespiderwillgetandupdatetherulesofthiswebsiteupdateregularlytoaddnewcontent,sothatthesiteaftertheupdate,assoonaspossibletobecaught.secondly,theoriginaldegreeoffreshnessofthecontentofthewebpageismorelikelytobeincludedinthespidercrawl.Ifthereisalargenumberofduplicatewebsitecontent,willmakethespiderfeeltoomuchmeaning,男士沙滩鞋,butalsomakethesearchengineonthesitequalityproblems,andevenleadtopunishment.Freshnessismainlyreferstothecontentofthehotdegreeandeffectiveness,therecentoccurrenceofevents,http://www.yjcszh.cn/GuestAdd.asp,hoteventsisrelativelyeasytobeconcernedaboutbytheuserandthespidergrab.two,makesuretheserverisstable.Thestabilityoftheserverisnotonlyrelatedtothedegreeofuserexperience,butalsoonthespidergrabagreatimpact.SEOshouldregularlychecktheserverstatus,viewthesitelog,checkwhetherthereare500statecodesandothermarkers,todetecttheexistenceofhiddendangers.three,optimizewebsitestructure.ifthesitecontentisgood,butthepageisveryfew,butmostlybecausethepagehasnotbeencrawlingspider.Atthispoint,thesiteshouldbefullytested,includingRobotsfiles,pagehierarchy,codestructure,Weblinks,etc..1,Robotsfile.WebsitethroughtheRobotsprotocolcantellthespiderwhichpagescancrawl,whichpagescannotcrawl.2,pagelevel,theperformanceofthesiteinthephysicalhierarchy,logicalhierarchy,andmanyotheraspects.TakethelogicalhierarchyURLstructureasanexample,theURLthatisconvenienttoremember,thelevelisshort,thelengthismoderate百度蜘蛛，谷歌蜘蛛，360蜘蛛，这些是几种常见的搜索引擎蜘蛛，只有常常被蜘蛛访问的，才是网站获取好的排名的方式，所以把网站和蜘蛛的关系给搞好了，是站长要关心的问题之一。搜索引擎蜘蛛采用极其复杂的抓取策略去遍历互联网中的网站，而且还要在保证对网站用户体验不受影响的综合考量下，抓取更多有价值的资源。蜘蛛会顺着内外链入口访问更多的网站页面，把网页信息存入数据库。就像图书馆一样把不同的图书分类整理，最后压缩加密成自己可以读取的方式放在硬盘上，供搜索的人索取。搜索引擎蜘蛛抓取的原理来看，SEO要想培养蜘蛛定期抓取网站，应该做到以下三点：一、高质量、规律性更新网站文章内容。首先，搜索引擎蜘蛛喜欢抓取规律更新的网站。从一定意义上说，网站的更新频率与抓取频率是成正比的。即使在网站前期没有蜘蛛来抓取文章，也要定期更新。这样蜘蛛才会获取并统计这个网站更新的规律，定期来进行新增内容抓取，使网站文章更新后，能够尽可能快被抓取到。其次，原创度、新鲜度较高的内容网页更容易被蜘蛛抓取收录。网站如果存在大量重复内容，会让蜘蛛觉得抓取过多没有意义，还会使搜索引擎对网站质量产生质疑，甚至会导致惩罚。“新鲜度”主要指内容的热门程度和实效性，新近发生的“大事”、“热门事件”是比较容易被用户关注和被蜘蛛抓取,http://www.qtxswhg.cn/wygkcn_GuestBook.asp。二、确保服务器稳定工作。服务器的稳定性不但关系到用户体验度问题，还会对蜘蛛的抓取造成很大影响。SEO应该定期检查服务器状态，查看网站日志，检查是否有500状态码等标记,http://www.lbeyzy.com/guestbook.asp，及时发现存在的隐患。三、优化网站结构。如果网站内容好，但是页面却收录却寥寥无几时，多数是因为页面根本没有被蜘蛛爬取。这时就应该对网站进行全面检测，主要包括Robots文件、页面层级、代码结构、网站链接等方面。1、Robots文件。网站通过Robots协议可以告诉蜘蛛哪些页面可以抓取，哪些页面不能抓取。2、页面层级，表现在网站物理层级结构、逻辑层级结构等多方面。以逻辑层级结构URL结构为例,http://www.pybz.cn/E_GuestBook.asp，方便记忆、层级简短、长度适中的静态URL是被搜索引擎蜘蛛所喜爱的。URL结构（以“/”为划分标志），一般不宜超过4层，结构太复杂不利于搜索引擎收录，也会影响到用户体验度。3、网站代码类别、结构也会影响网页是否被蜘蛛抓取。如：IFRAME、JavaScript等代码，目前还不能被百度搜索引擎蜘蛛有效的理解、抓取，所以需要尽量减少这类代码的使用,http://www.lwgjzxx.net/E_GuestBook.asp。另外，过大的代码量也会导致蜘蛛抓取不完全。4、网站链接是网页间权重传递的“入口”,http://concrete-fem.com/forum/E_GuestBook.asp，链接的数量和质量，直接影响到页面能否被蜘蛛抓取和收录。低质量链接堆砌只会给网站带来毁灭性的灾害，且还要及时排除错误链接和死链接，减少蜘蛛对死链接的抓取时间。尽量多从正规和相关站点获得反向链接，这样才可以提高网站的权重。