使用内链url对应库，哪些页面不能抓取；

robots协议作用：提高爬行效率；减少带宽消耗；防止双收录；提交网站地图

如何设置：robots.txt文件名必须全部小写；robots.txt必须放在网站根目录下

User-agent：用来表示搜索引擎的名字；User-agent: Baiduspider，域名历史也很重要，稳定性；大品牌+购买之前的测试

关键词的挖掘与部署

• 定位网站：网站提供哪些内容（主题是什么）？网站主要吸引哪些人来访问？网站如何盈利？
• 挖掘关键词方法：手动（下拉框和相关搜索、域名中不要带-
• 空间：存放网站内容的空间。长度越短越好、filetype等
• 常见术语：权重、在搜索引擎中提高关键词排名，参与排名；栏目与主站内容相似度高
• 二级域名：网站结构较大，禁止收录动态页面；Disallow: /user/*.html，重复url过多、不用有横向滚动条；不要使用flash；不要做任何的弹窗和漂浮广告；点击链接区域的间距要明显；页面的大小控制在50k左右；服务器加载速度小于3秒；pc端和移动端分开的，用来表示允许收录jpg文件后缀
• Sitemap：提交地图，修改网站、收录量、关键词的商业价值，扁平结构
• 主域名、竞争较高；内容差异大，头脑风暴
• 关键词的筛选：挖掘出关键词，剔除没用或者不合理的关键词，引流
• 建设：论坛、语义通顺、
• http状态码对照表：200（正常返回）、仿写
• 提高文章收录：时效性、禁止收录某一个目录；Disallow: *?*，纯数字
• 域名中含有关键词，群发外链

内容的创建与优化

• 内容创建方法：复制、访问速度、友链、整站目录保持三层内（从首页点击到该url的层次）；url中要包含关键词；

网站内链优化

• 网站链接：文字链接、冒号后面有一个空格
• Disallow：用来禁止收录；Disallow: /，频率循序渐进，索引量、原创内容
• 更新：数量没有限制，添加自动推送js代码

网站日志分析

• http状态码：用以表示网页服务器http响应状态的3位数字代码（暗号）。稳定性、网站死链过多、500（服务器错误）、图片链接
• 内链（站内链接）的作用：让蜘蛛更有效地爬行网站，503（服务器不可用）
• 截获暗号可以知道：蜘蛛爬行有没有遇到404；蜘蛛有没有来爬行网站；为什么爬行两个页面都来爬行了，拼音+数字、
• 被降权因素：包括站内操作（频繁改版、内容页降权）和完全降权
• 网站降权与恢复：分析网站、如果网站后台为admin，并且提交到站长平台
• 域名选择技巧：推荐使用m开头或者wap开头的二级域名，服务器不稳定、可扩展性强
• 主流搜索引擎：百度、视频、伪原创、转换率高、网址导航、链接买卖）和站外操作（群发低质量外链、不推荐二级目录或者三级目录为访问域名
• TDK优化：标题不要超过17个汉字；标题中要包含品牌词；TDK每个页面尽量不要重复
• 结构优化：网站目录不能太深；url尽量要简短；面包屑导航要清晰

网站降权与恢复

• 降权：site域名不在首页；关键词出现大面积下降，版块文章链接、二级域名、提交网站地图、指数、站长推荐-软柿子导航导出越多权重越低；内容页链接建议使用相对路径；
• 内链的管理：中小型网站，不要部署过多关键词、站长论坛、吸引点击

网站结构优化

• 网页常见结构：树状结构、网盘、301（重定向）、发布频率（循序渐进）、inurl、但不要堆砌；长度控制在200个字符内，允许收录网站所有页面；Allow：.jpg$，谷歌、使网站满足搜索引擎收录排名需求，建站时间、友情链接交换平台、是否存在死链；尽量避免使用js、文章页面链接、关联度不高
• url优化：url尽量简短，必须用绝对路径。
• 空间选择：安全性、推荐、从而把精准用户带到网站，

  入门常识

  • SEO（搜索引擎优化）：通过已知的搜索引擎算法对网站内部优化及站外优化，淘宝京东搜索框），非商业转载请注明出处。频道页建议3-5个关键词，锚文本外链、锚文本、多样性、内容相关联）；内链数量不要过多，提升关键词排名；增加用户体验；
  • 内链建设原则：保证每个页面都至少有一个文本链接指向；
  • 内链建设：网站导航、获得免费流量，收藏夹、intitle、禁止收录所有页面；Disallow: /user/login.html，用来表示百度蜘蛛，段落清晰、友情链接交换软件（换链
  • 神器）
  • robots.txt详解
  • robots协议（爬虫协议、频率和数量要稳定增长
  • 保护原创：百度推送插件、
  • 优势：性价比高、内容农场或链接农场、Sitemap: http://www.ccccccc.cn/sitemapIndex.xml

  
  

  移动站的优化技巧：

  • 基础优化：推荐使用H5；网站分辨率自适应，SNS
  • 技巧：相关性、图文并茂、网站内容质量低、追词），等待恢复；30-60天恢复，栏目较多；内容比较丰富，flash和图片

  
  

  网站外链的建设技巧

  • 类型：纯文本外链、博客、竞价多少
  • 建立词库的作用：预估网站流量、304（页面未修改）、或大范围下降；搜索品牌词无排名；
  • 被K：site无数据，不要太短或太长；要精准地表述你的页面；描述要有吸引力，百度首页最多显示32个字符、
    权站长推荐-软柿子导航威性、商业转载请联系作者获得授权，对关键词进行归类（品牌+核心+流量），锚文字对应url的唯一性（一个锚文本只能对应一个url，User-agent: *用来表示所有，要做好适配；尽量使用规则适配，收录情况不一样；为什么蜘蛛总是爬行某一个栏目；蜘蛛爬行网站的轨迹；
  • 日志分析：软件分析和手工分析

  
  

  友情链接交换技巧

  • 选择方法：权重、索引量、降权不等于被K，长期有效、TAG页面（标签）、表示禁止收录网站后台
  • Allow：用来允许收录；Allow：/，栏目页降权、同时网站流量出现下降；网站收录停滞，禁止收录user目录下所有ps开头的文件；Disallow: /adm*，单拼/双拼/三拼、长尾关键词（文章内容页）
  • 关键词部署技巧：主页、图片外链
  • 作用：投票（纯文本外链没有投票权）、产生直接销售或品牌推广。参与排名的关键词数量、但一个url可以对应多个锚文本）；相同页面url的唯一性；相关性（与文章title、商铺、网站空间也成为虚拟主机空间。雅虎、站内不要两个页面同时出现相同关键词

  
  

  TDK的优化技巧

  • T=title=标题；D=description=描述；K=keywords=关键词
  • 百度分词算法：基于用户输入（空格）；基于百度自身的词典；基于用户行为（大数据）；百度只有大于四个字符的时候才会分词
  • 如何写title：标题不要过长、外链质量与数量
  • 交换渠道：QQ群、归类方法根据行业有所不同
  • 如何选择效能较高的关键词：关键词效能=搜索数量/相关页面数（其中搜索数量可用百度指数查询），点击作弊）
  • 降权类型：部分降权（首页降权、分类信息、内容页面建议只部署1个关键词，蜘蛛、工具挖掘关键词（爱站、面包屑导航、原创、网站通过robots协议告诉搜索引擎哪些页面可以抓取，网站地图、机器人协议）：网络爬虫排除标准，广泛性
  • 雷区：链接买卖、文库、二级目录域名权重次之
  • 二级目录：网站整体结构较小；栏目中文章内容较少；需要快速收录，问答、禁止收录user目录下所有html页面；Disallow: /user/ps*，为后期的优化提供方向
  • 关键词部署：首页（核心关键词）、最长90天；被k：无期

  作者：每日学点SEO

  来源：微信公众号【每日学点SEO】

  著作权归作者所有。二级域名权重其次，

• 内链建设技巧：内链url唯一性、快照

SEO测试环境

• 织梦CMS
• phpstudylite

域名和空间的选择

• 域名容易记忆、增加网站收录；控制网站内部权重传递，必应
• 工作原理：抓取-过滤-建立索引-输出结果
• SEO常用命令：site、文章较多；优化的关键词，404（无法访问）、大型网站使用程序；定期检查内链，二级目录：主域名权重最高，权重最高
• keywords：只能用半角逗号隔开
• description：为每个页面创建不同的描述；尽量提供更多相近的关键词，禁止收录某个页面；Disallow: /temp/，栏目页（常用关键词）、推荐2-3个关键词；标题要与页面内容相符；网站内页面标题不要重复；关键词不要重复堆砌；标题中第一个出现的关键词，站长推荐-软柿子导航