综艺频道 创业交流 校园资讯 医药资讯 农业信息 趣闻趣事 农药资讯 故事会  
教育资讯 明星资讯 旅游资讯 游戏资讯 动漫资讯 医疗资讯 时尚资讯 站长资讯  
首页>> 站长资讯 >>正文
有关某系列网页被K的问题请教。
2020-06-28 20:20:51  来源:阜新资讯网 

这个确实比较奇葩。我也看了你的Robots.txt 没发现问题。 你试试把,robots.txt里的内容都去除下,尽量都允许抓取。 特别是把那个对etaospider的屏蔽去除下。 然后再抓取诊断试试。

谢邀,看来夫唯帮你解决了。 我本来就完全不懂roborts,看到你们的对话,我也学到了新知识。 @夫唯 有没有收藏该帖子的 功能啊?我想以后需要的时候能查找到。

应该百度蜘蛛的问题,我用测试抓取诊断,抓去首页也会失败,同事用360测试都是一片绿色的,在调换百度抓取UA为移动的就能抓取了,接着在用PC端抓取的也可以了.我认为是百度蜘蛛自身的问题.技术不行不承认啊.


如何学黑帽啊,有没有什么学黑帽的论坛社区什么的?
快到想不到,VOOC闪充电源开启0元内测
如何解决新站收录慢的问题?
国产旗舰手机推荐 3000元档位魅族优势较大
1
 
人人影视正式关闭 需要我们的时代已经离去
金立经营债权人会议摸底:中小供应商更希望直接破产
珠海永亚硬件有限公司呼唤中间营业正式运营—中文业界
微博第四季度净收益1910万美元 同比增332%
百度移动搜索wap和m的网站区别
爱占即时排名一会第七一会又第十,还有一会跑到了第二页,怎么回事?
网站建设之如何确定网站的设计风格?
做地方站第四年:理想在现实面前总是虚无缥缈
腾讯推出数字航空解决方案,助力航空业数字化转型
企业网站导航栏上面的关于我们 产品展示 这些直接换成 企业主推产品好吗
 
1
1
网站改版之后一直只有首页收录,改版之后要...
只发外链,不更新文章,或者偶尔更新不带关...
使用rsync来实现文件同步
中科院专家陌陌直播间给乡村孩子科普导航知...
有没有大神给点网站优化的建议啊(悬赏3元)
我现在医疗行业做SEO,怎么才能提高自己的能...
腾讯打造云启商学院,马化腾将担任荣誉院长
武大抵制360”属黑公关造谣 武汉大学已澄清
“哪吒、寄生虫”大片随意看 南瓜影视全免无...
帝国CMS调用最新DIGG顶的最多的文章
1  
1
1
有关某系列网页被K的问题请教。
4年老站百度权重1的seo合理化建议
做地方站第四年:理想在现实面前总是虚无缥缈
搜网站全标题出现首页第三位,是不是意味着首页权重在开始恢复了?
企业网站做着竞价 排名一直上不去 求大神分析一下网站给点建议
怎么买友情链接可以避免绿萝算法生效
腾讯推出数字航空解决方案,助力航空业数字化转型
搜索引擎对大小写过敏吗?说说主流的搜索引擎
本月待发新机汇总:10款新品带你一次看个够!
企业网站导航栏上面的关于我们 产品展示 这些直接换成 企业主推产品好吗
阜新资讯网