「今日头条」头条搜索站长平台上线,附使用教程!

一直很关注头条搜索,站长平台是搜索引擎和站点沟通交流的核心,例如百度、搜狗、360、神马、bing、Google等,在头条发力搜索后,站长平台也是不可或缺的,在蓝卡看来没有了站长平台就去暴力蜘蛛抓取,就像对妹子连撩都不撩,直接就霸王硬上弓了,不好不好。

今天无意间发现头条搜索站长平台正式对外开放,下面做下简单的介绍。

入驻流程:

1、访问平台

头条搜索站长平台:https://om.toutiao.com

1.jpg

2、登录

点击右上角登录,登录账号,可以使用今日头条账号登录,也可以使用手机短信验证登录

2.jpg

3、添加网站

此处需要选择站点是http或者https,需要注意的是头条搜索暂未做移动域名映射,移动域名(m站)需单独添加

添加网站.jpg

4、网站验证

需要下载认证文件,上传至站点根目录,并且可以正常访问,点击验证。


4.jpg

(1)验证通过

验证成功的站点会在后台正常展示

(2)验证失败

若网站验证失败,请检查是否为以下原因:

1)未正确配置验证文件;

2)爬虫无法访问网站,请确认网站状态已经是否封禁爬虫。

3)已有相同域名的网站通过验证。

4)对网站验证有其他问题?可以向zhanzhang@bytedance.com提交反馈,我们会及时处理。

5、站点管理

可以看到所有的已添加站点,目前可以操作功能的仅有数据提交 |数据监控 |删除站点 |添加子站

1.jpg

6、数据提交

一般添加XML站点地图即可,一般10分钟以内就会看到更新信息,包括URL数量和状态。

1.jpg

(一)提交sitemap

链接提交工具是网站主动向头条搜索提供数据的工具,本工具可加快爬虫抓取速度,无法解决网站内容是否收录问题

头条搜索站长平台为站长提供链接提交渠道,您可以提交想被头条搜索收录的链接,头条搜索会按照收录标准进行处理,但无法保证一定能够收录您提交的链接

本工具可支持小时级、天级更新,可根据网站数据更新情况进行选择

注意事项

提交的sitemap有作弊嫌疑的url,头条将进行严厉的处罚措施并取消相关权限

头条spider有自身的爬取规则,sitemap只是帮助头条spider更好的收录您的网站,提交sitemap并不会决定网站收录或者排名。

提交成功

等待:代表您的sitemap文件已经解析完毕,等待抓取

正常:代表您的sitemap文件在抓取中

异常:代表您的sitemap文件存在问题,不能抓取

提交失败

若在Sitemap提交工具使用中发生错误,请确认是否为以下原因:

Sitemap文件地址无法访问,请确认提交的地址可正常访问。

Sitemap文件地址与提交站点不是包含关系,请确认提交的地址属于已验证的站点

相同的Sitemap文件地址已经添加过,请勿重新添加。

提交的Sitemap格式不规范,请检查该数据格式,修改后重新提交。

对Sitemap提交有其他问题?可以向“zhanzhang@bytedance.com”提交反馈,我们会及时处理。

7、其他功能

例如死链提交基本很少会用到,至于流量展示、索引量展示使用频率也不高,抓取频次根据自己网站情况酌情设置吧。

1.jpg

在使用过程中,有任何疑问,可以和客服及时沟通

反馈邮箱邮箱地址:

zhanzhang@bytedance.com

反馈问题请尽量描述清楚站点、问题,最好有相关截图以便于工作人员处理。我们收到邮件后会及时处理。

头条搜索ip字段介绍

头条搜索UA介绍

头条搜索的爬虫UA为“Bytespider”首写字母为大写。

例如:

例如:Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36(KHTML,like Gecko)Chrome/41.0.6633.1032 Mobile Safari/537.36;Bytespider;https://zhanzhang.toutiao.com

头条搜索ip字段介绍

头条搜索的ip字段总共涉及 6 个,具体字段如下:

110.249.201.0/24110.249.202.0/24111.225.148.0/24111.225.149.0/24220.243.135.0/24220.243.136.0/24

基本流程

1.抓取网页。每个独立的搜索引擎都有自己的网页抓取程序爬虫(Spider)。爬虫顺着网页中的超链接,从这个网站爬到另一个网站,通过超链接分析连续访问抓取更多网页。被抓取的网页被称之为网页快照。由于互联网中超链接的应用很普遍,理论上,从一定范围的网页出发,就能搜集到绝大多数的网页。

2.处理网页。搜索引擎抓到网页后,还要做大量的预处理工作,才能提供检索服务。其中,最重要的就是提取关键词,建立索引库和索引。其他还包括去除重复网页、分词(中文)、判断网页类型、分析超链接、计算网页的重要度/丰富度等。

3.提供检索服务。用户输入关键词进行检索,搜索引擎从索引数据库中找到匹配该关键词的网页;为了用户便于判断,除了网页标题和URL外,还会提供一段来自网页的摘要以及其他信息。