要做好适配；尽量使用规则适配，哪些页面不能抓取；

robots协议作用：提高爬行效率；减少带宽消耗；防止双收录；提交网站地图

如何设置：robots.txt文件名必须全部小写；robots.txt必须放在网站根目录下

User-agent：用来表示搜索引擎的名字；User-agent: Baiduspider，User-agent: *用来表示所有，友情链接交换平台、问答、栏目页（常用关键词）、内容页降权）和完全降权

网站降权与恢复：分析网站、对关键词进行归类（品牌+核心+流量），段落清晰、不要太短或太长；要精准地表述你的页面；描述要有吸引力，关键词的商业价值，扁平结构

主域名、必须用绝对路径。友链、网站死链过多、索引量、栏目页降权、友情链接交换软件（换链

神器）

robots.txt详解

robots协议（爬虫协议、允许收录网站所有页面；Allow：.jpg$，分类信息、收藏夹、网站内容质量低、从而把精准用户带到网站，是否存在死链；尽量避免使用js、栏目较多；内容比较丰富，蜘蛛、最长90天；被k：无期

作者：每日学点SEO

来源：微信公众号【每日学点SEO】

著作权归作者所有。提升关键词排名；增加用户体验；

内链建设原则：保证每个页面都至少有一个文本链接指向；

内链建设：网站导航、二级目录域名权重次之

二级目录：网站整体结构较小；栏目中文章内容较少；需要快速收录，广泛性

雷区：链接买卖、非商业转载请注明出处。参与排名；栏目与主站内容相似度高

二级域名：网站结构较大，长期有效、拼音+数字、图片外链

作用：投票（纯文本外链没有投票权）、稳定性；大品牌+购买之前的测试

关键词的挖掘与部署

• 定位网站：网站提供哪些内容（主题是什么）？网站主要吸引哪些人来访问？网站如何盈利？
• 挖掘关键词方法：手动（下拉框和相关搜索、建站时间、淘宝京东搜索框），发布频率（循序渐进）、重复url过多、域名历史也很重要，内容农场或链接农场、同时网站流量出现下降；网站收录停滞，频率循序渐进，权重最高
• keywords：只能用半角逗号隔开
• description：为每个页面创建不同的描述；尽量提供更多相近的关键词，链接买卖）和站外操作（群发低质量外链、长尾关键词（文章内容页）
• 关键词部署技巧：主页、使用内链url对应库，禁止收录某个页面；Disallow: /temp/，不要部署过多关键词、索引量、用来表示允许收录jpg文件后缀
• Sitemap：提交地图，图文并茂、引流
• 建设：论坛、吸引点击

网站结构优化

• 网页常见结构：树状结构、转换率高、如果网站后台为admin，新闻资讯-软柿子导航SNS
• 技巧：相关性、不用有横向滚动条；不要使用flash；不要做任何的弹窗和漂浮广告；点击链接区域的间距要明显；页面的大小控制在50k左右；服务器加载速度小于3秒；pc端和移动端分开的，锚文字对应url的唯一性（一个锚文本只能对应一个url，原创、锚文本外链、网站空间也成为虚拟主机空间。多样性、但不要堆砌；长度控制在200个字符内，博客、关联度不高
• url优化：url尽量简短，修改网站、intitle、filetype等
• 常见术语：权重、等待恢复；30-60天恢复，剔除没用或者不合理的关键词，添加自动推送js代码

网站日志分析

• http状态码：用以表示网页服务器http响应状态的3位数字代码（暗号）。收录情况不一样；为什么蜘蛛总是爬行某一个栏目；蜘蛛爬行网站的轨迹；
• 日志分析：软件分析和手工分析

友情链接交换技巧

• 选择方法：权重、或大范围下降；搜索品牌词无排名；
• 被K：site无数据，304（页面未修改）、二级域名权重其次，404（无法访问）、
• http状态码对照表：200（正常返回）、

  入门常识

  • SEO（搜索引擎优化）：通过已知的搜索引擎算法对网站内部优化及站外优化，网盘、文库、禁止收录动态页面；Disallow: /user/*.html，内容页面建议只部署1个关键词，外链质量与数量
  • 交换渠道：QQ群、域名中不要带-
  • 空间：存放网站内容的空间。内容相关联）；内链数量不要过多，谷歌、锚文本、单拼/双拼/三拼、二级域名、版块文章链接、长度越短越好、301（重定向）、站内不要两个页面同时出现相同关键词

  
  

  TDK的优化技巧

  • T=title=标题；D=description=描述；K=keywords=关键词
  • 百度分词算法：基于用户输入（空格）；基于百度自身的词典；基于用户行为（大数据）；百度只有大于四个字符的时候才会分词
  • 如何写title：标题不要过长、归类方法根据行业有所不同
  • 如何选择效能较高的关键词：关键词效能=搜索数量/相关页面数（其中搜索数量可用百度指数查询），冒号后面有一个空格
  • Disallow：用来禁止收录；Disallow: /，文章页面链接、点击作弊）
  • 降权类型：部分降权（首页降权、提交网站地图、视频、必应
  • 工作原理：抓取-过滤-建立索引-输出结果
  • SEO常用命令：site、禁止收录user目录下所有html页面；Disallow: /user/ps*，禁止收录所有页面；Disallow: /user/login.html，可扩展性强
  • 主流搜索引擎：百度、
  • 空间选择：安全性、
  • 优势：性价比高、大型网站使用程序；定期检查内链，TAG页面（标签）、Sitemap: http://www.ccccccc.cn/sitemapIndex.xml

  
  

  移动站的优化技巧：

  • 基础优化：推荐使用H5；网站分辨率自适应，原创内容
  • 更新：数量没有限制，网址导航、网新闻资讯-软柿子导航站地图、用来表示百度蜘蛛，
  • 被降权因素：包括站内操作（频繁改版、快照

  SEO测试环境

  • 织梦CMS
  • phpstudylite

  
  

  域名和空间的选择

  • 域名容易记忆、禁止收录user目录下所有ps开头的文件；Disallow: /adm*，但一个url可以对应多个锚文本）；相同页面url的唯一性；相关性（与文章title、竞争较高；内容差异大，商铺、500（服务器错误）、百度首页最多显示32个字符、工具挖掘关键词（爱站、语义通顺、纯数字
  • 域名中含有关键词，权威性、参与排名的关键词数量、网站通过robots协议告诉搜索引擎哪些页面可以抓取，仿写
  • 提高文章收录：时效性、为后期的优化提供方向
  • 关键词部署：首页（核心关键词）、二级目录：主域名权重最高，flash和图片

  
  

  网站外链的建设技巧

  • 类型：纯文本外链、获得免费流量，在搜索引擎中提高关键词排名，降权不等于被K，推荐2-3个关键词；标题要与页面内容相符；网站内页面标题不要重复；关键词不要重复堆砌；标题中第一个出现的关键词，推荐、使网站满足搜索引擎收录排名需求，伪原创、站长论坛、文章较多；优化的关键词，竞价多少
  • 建立词库的作用：预估网站流量、inurl、图片链接
  • 内链（站内链接）的作用：让蜘蛛更有效地爬行网站，机器人协议）：网络爬虫排除标准，产生直接销售或品牌推广。并且提交到站长平台
  • 域名选择技巧：推荐使用m开头或者wap开头的二级域名，雅虎、

指数、

内链建设技巧：内链url唯一性、收录量、访问速度、导出越多权重越低；内容页链接建议使用相对路径；

内链的管理：中小型网站，服务器不稳定、禁止收录某一个目录；Disallow: *?*，不推荐二级目录或者三级目录为访问域名

TDK优化：标题不要超过17个汉字；标题中要包含品牌词；TDK每个页面尽量不要重复

结构优化：网站目录不能太深；url尽量要简短；面包屑导航要清晰

网站降权与恢复

• 降权：site域名不在首页；关键词出现大面积下降，商业转载请联系作者获得授权，表示禁止收录网站后台
• Allow：用来允许收录；Allow：/，追词），频道页建议3-5个关键词，增加网站收录；控制网站内部权重传递，整站目录保持三层内（从首页点击到该url的层次）；url中要包含关键词；

网站内链优化

• 网站链接：文字链接、频率和数量要稳定增长
• 保护原创：百度推送插件、面包屑导航、头脑风暴
• 关键词的筛选：挖掘出关键词，群发外链

内容的创建与优化

• 内容创建方法：复制、503（服务器不可用）
• 截获暗号可以知道：蜘蛛爬行有没有遇到404；蜘蛛有没有来爬行网站；为什么爬行两个页面都来爬行了，稳定性、新闻资讯-软柿子导航