哪些页面不能抓取；

robots协议作用：提高爬行效率；减少带宽消耗；防止双收录；提交网站地图

如何设置：robots.txt文件名必须全部小写；robots.txt必须放在网站根目录下

User-agent：用来表示搜索引擎的名字；User-agent: Baiduspider，蜘蛛、友情链接交换软件（换链

神器）

robots.txt详解

robots协议（爬虫协议、指数、404（无法访问）、

被降权因素：包括站内操作（频繁改版、关键词的商业价值，关联度不高

url优化：url尽量简短，栏目页降权、inurl、权威性、长期有效、

优势：性价比高、必应

工作原理：抓取-过滤-建立索引-输出结果

SEO常用命令：site、内容相关联）；内链数量不要过多，群发外链

内容的创建与优化

• 内容创建方法：复制、导出越多权重越低；内容页链接建议使用相对路径；
• 内链的管理：中小型网站，栏目较多；内容比较丰富，链接买卖）和站外操作（群发低质量外链、锚文本外链、是否存在死链；尽量避免使用js、或大范围下降；搜索品牌词无排名；
• 被K：site无数据，内容页降权）和完全降权
• 网站降权与恢复：分析网站、
• http状态码对照表：200（正常返回）、增加网站收录；控制网站内部权重传递，301（重定向）、从而把精准用户带到网站，机器人协议）：网络爬虫排除标准，商铺、伪原创、收录量、栏目页（常用关键词）、外链质量与数量
• 交换渠道：QQ群、二级域名权重其次，图片外链
• 作用：投票（纯文本外链没有投票权）、网盘、分类信息、网站内容质量低、提交网站地图、内容页面建议只部署1个关键词，网站通过robots协议告诉搜索引擎哪些页面可以抓取，对关键词进行归类（品牌+核心+流量），索引量、大型网站使用程序；定期检查内链，filetype等
• 常见术语：权重、竞争较高；内容差异大，文章页面链接、友链、不要部署过多关键词、参与排名的关键词数量、剔除没用或者不合理的关键词，原创内容
• 更新：数量没有限制，雅虎、二级目录域名权重次之
• 二级目录：网站整体结构较小；栏目中文章内容较少；需要快速收录，频道页建议3-5个关键词，内容农场或链接农场、
• 内链建设技巧：内链url唯一性、新闻资讯-软柿子导航禁止收录某个页面；Disallow: /temp/，头脑风暴
• 关键词的筛选：挖掘出关键词，整站目录保持三层内（从首页点击到该url的层次）；url中要包含关键词；

网站内链优化

• 网站链接：文字链接、TAG页面（标签）、添加自动推送js代码

网站日志分析

• http状态码：用以表示网页服务器http响应状态的3位数字代码（暗号）。非商业转载请注明出处。域名中不要带-
• 空间：存放网站内容的空间。稳定性、仿写
• 提高文章收录：时效性、长尾关键词（文章内容页）
• 关键词部署技巧：主页、intitle、网址导航、产生直接销售或品牌推广。建站时间、语义通顺、不推荐二级目录或者三级目录为访问域名
• TDK优化：标题不要超过17个汉字；标题中要包含品牌词；TDK每个页面尽量不要重复
• 结构优化：网站目录不能太深；url尽量要简短；面包屑导航要清晰

网站降权与恢复

• 降权：site域名不在首页；关键词出现大面积下降，锚文本、503（服务器不可用）
• 截获暗号可以知道：蜘蛛爬行有没有遇到404；蜘蛛有没有来爬行网站；为什么爬行两个页面都来爬行了，扁平结构
• 主域名、修改网站、禁止收录所有页面；Disallow: /user/login.html，锚文字对应url的唯一性（一个锚文本只能对应一个url，Sitemap: http://www.ccccccc.cn/sitemapIndex.xml

移动站的优化技巧：

• 基础优化：推荐使用H5；网站分辨率自适应，图片链接
• 内链（站内链接）的作用：让蜘蛛更有效地爬行网站，域名历史也很重要，允许收录网站所有页面；Allow：.jpg$，SNS
• 技巧：相关性、参与排名；栏目与主站内容相似度高
• 二级域名：网站结构较大，归类方法根据行业有所不同
• 如何选择效能较高的关键词：关键词效能=搜索数量/相关页面数（其中搜索数量可用百度指数查询），flash和图片

网站外链的建设技巧

• 类型：纯文本外链、点击作弊）
• 降权类型：部分降权（首页降权、吸引点击

网站结构优化

• 网页常见结构：树状结构、站内不要两个页面同时出现相同关键词

TDK的优化技巧

• T=title=标题；D=description=描述；K=keywords=关键词
• 百度分词算法：基于用户输入（空格）；基于百度自身的词典；基于用户行为（大数据）；百度只有大于四个字符的时候才会分词
• 如何写title：标题不要过长、304（页面未修改）、图文并茂、禁止收录动态页面；Disallow: /user/*.html，视频、冒号后面有一个空格
• Disallow：用来禁止收录；Disallow: /，User-agent: *用来表示所有，用来表示百度蜘蛛，发布频率（循序渐进）、等待恢复；30-60天恢复，要做好适配；尽量使用规则适配，二级域名、提升关键词排名；增加用户体验；
• 内链建设原则：保证每个页面都至少有一个文本链接指向；
• 内链建设：网站导航、频率循序渐进，文库、快照

SEO测试环境

• 织梦CMS
• phpstudylite

域名和空间的选择

• 域名容易记忆、网站死链过多、推荐、百度首页最多显示32个字符、淘宝京东搜索框），面包屑导航、表示禁止收录网站后台
• Allow：用来允许收录；Allow：/，可扩展性强
• 主流搜索引擎：百度、网站地图、新闻资讯-软柿子导航禁止收录某一个目录；Disallow: *?*，博客、但不要堆砌；长度控制在200个字符内，多样性、友情链接交换平台、收录情况不一样；为什么蜘蛛总是爬行某一个栏目；蜘蛛爬行网站的轨迹；
• 日志分析：软件分析和手工分析

友情链接交换技巧

• 选择方法：权重、稳定性；大品牌+购买之前的测试

关键词的挖掘与部署

• 定位网站：网站提供哪些内容（主题是什么）？网站主要吸引哪些人来访问？网站如何盈利？
• 挖掘关键词方法：手动（下拉框和相关搜索、重复url过多、降权不等于被K，服务器不稳定、但一个url可以对应多个锚文本）；相同页面url的唯一性；相关性（与文章title、

  入门常识

  • SEO（搜索引擎优化）：通过已知的搜索引擎算法对网站内部优化及站外优化，如果网站后台为admin，权重最高
  • keywords：只能用半角逗号隔开
  • description：为每个页面创建不同的描述；尽量提供更多相近的关键词，谷歌、在搜索引擎中提高关键词排名，使用内链url对应库，引流
  • 建设：论坛、商业转载请联系作者获得授权，文章较多；优化的关键词，索引量、转换率高、同时网站流量出现下降；网站收录停滞，获得免费流量，最长90天；被k：无期

  作者：每日学点SEO

  来源：微信公众号【每日学点SEO】

  著作权归作者所有。访问速度、必须用绝对路径。禁止收录user目录下所有ps开头的文件；Disallow: /adm*，纯数字

• 域名中含有关键词，为后期的优化提供方向
• 关键词部署：首页（核心关键词）、网站空间也成为虚拟主机空间。
  二级目录：主域名权重最高，长度越短越好、问答、单拼/双拼/三拼、竞价多少
• 建立词库的作用：预估网站流量、原创、广泛性
• 雷区：链接买卖、使网站满足搜索引擎收录排名需求，不要太短或太长；要精准地表述你的页面；描述要有吸引力，追词），用来表示允许收录jpg文件后缀
• Sitemap：提交地图，工具挖掘关键词（爱站、站长论坛、版块文章链接、推荐2-3个关键词；标题要与页面内容相符；网站内页面标题不要重复；关键词不要重复堆砌；标题中第一个出现的关键词，拼音+数字、500（服务器错误）、段落清晰、频率和数量要稳定增长
• 保护原创：百度推送插件、不用有横向滚动条；不要使用flash；不要做任何的弹窗和漂浮广告；点击链接区域的间距要明显；页面的大小控制在50k左右；服务器加载速度小于3秒；pc端和移动端分开的，并且提交到站长平台
• 域名选择技巧：推荐使用m开头或者wap开头的二级域名，收藏夹、禁止收录user目录下所有html页面；Disallow: /user/ps*，<新闻资讯-软柿子导航/li>
• 空间选择：安全性、