投稿
最近有站长在网上发文吐槽表示，天辰娱乐登录字节跳动为了快速开展搜索业务派出爬虫四处暴力抓取网站内容，局部配置较低的网站曾经直接瘫痪，给中小网站主们形成了很大的损失和搅扰，严重影响了网站正常的用户访问。
该站长表示，今年7月份，他忽然发现公司的网站经常性打不开，网页加载极端迟缓，有时以至直接瘫痪。经过一系列排查后，在效劳器日志上发现了bytespider爬虫的痕迹。该爬虫抓取的频率每天达几百万次，高则上千万次，效劳器带宽负载飙至100%，而且该爬虫在抓取时完整不恪守网站的robots协议。
该站长顺着该爬虫的IP地址查询，证明，该爬虫就是字节跳动的搜索爬虫。
并且，在CSDN、V2EX等技术论坛也理解到，从字节跳动开端做搜索之后，其实网络上就不断有站长埋怨头条搜索爬虫抓取过于暴力的声音，遭受字节跳动的搜索爬虫暴力抓取的不是个例，很多小网站他们也没放过。
有小网站主埋怨表示：字节跳动的爬虫“一上午对网站发出46万次恳求”，网站都瘫痪了，百度也没有这么折腾的!
最后，该站长表示，像我们这样做SEO的人来说，主要工作目的就是希望本人家网站能在主流搜索引擎的搜索结果中排在前面的位置，“关于像百度、搜狗、360等搜索引擎的标准抓取和收录各位站长都是十分欢送的，但是头条搜索爬虫这样猖獗爬取内容网站都给整瘫痪了，不只没给网站带来流量，还影响了正常的用户访问，这就很不“考究”了。
但是对此，字节跳动的回应则是，“网络报道不实，天辰登录网址目前头条搜索设有反应机制，网站由于爬虫遭到影响，能够直接经过邮件反应处置。”明是不准备正面回应的。
所以经过头条搜索爬虫暴力抓取网站内容来看，磊哥个人觉得，字节跳动入局全网搜索搅动搜素市场是好事，但是为了快速崛起让本人家爬虫四处暴力抓取，就有问题了，大网站效劳器配置高，技术人员多还好，很多小网站基本就顶不住字节跳动的搜索爬虫这么折腾。
搜索引擎的索引数据是靠点滴积聚起来的，百度、搜狗.360阅历了那么多年的开展积聚才走到今天，头条搜索想要猖獗爬取内容，“一口吃个胖子”，只会让站长们远离!
网友回应