龙笑天龙笑天  2015-12-14 06:10 龙笑天下 隐藏边栏 |   6 条评论  421 
文章评分 19 次,平均分 5.0

网站 seo 方面博大精深,小天对这方面了解的也不是很多,所以有点班门弄斧的意思。这里只希望把最近遇到的一个关于 seo 的问题分享给大家,希望对大家有所帮助。要做好 seo,为了优化好网站,分析了解蜘蛛的爬行动向,清楚的了解蜘蛛爬行规律也是很重要的。

今天要实现的这个功能就是把蜘蛛的爬行记录列出来,生成一个日志,以方便站长们分析统计蜘蛛动向。当然对于这个功能肯定是有一款针对的插件的,比如:wp-log-robots。但是我的原则是能不用插件就不用插件,所以在此给大家分享的是无插件代码版的获取蜘蛛抓取日志。

首先,找到 wordpress 主题文件目录下的 functions.php 文件,用代码编辑软件打开,在最后一个?>之前添加以下代码:

/**
 * WordpPress 非插件纯代码获取蜘蛛来访日志
 * https://www.ilxtx.com/how-to-get-spiders-logs.html
 */
function get_naps_bot(){ 
	$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
	if (strpos($useragent, 'googlebot') !== false){ return 'Googlebot'; } 
	if (strpos($useragent, 'msnbot') !== false){ return 'MSNbot'; } 
	if (strpos($useragent, 'slurp') !== false){ return 'Yahoobot'; } 
	if (strpos($useragent, 'baiduspider') !== false){ return 'Baiduspider'; } 
	if (strpos($useragent, 'sohu-search') !== false){ return 'Sohubot'; } 
	if (strpos($useragent, 'lycos') !== false){ return 'Lycos'; } 
	if (strpos($useragent, 'robozilla') !== false){ return 'Robozilla'; } 
        if (strpos($useragent, '360spider') !== false){ return '360Spider'; }
	return false; 
	} 
function nowtime(){ 
	date_default_timezone_set('Asia/Shanghai'); 
	$date=date("Y-m-d.G:i:s"); return $date; 
	} 
	$searchbot = get_naps_bot(); 
if ($searchbot) { 
	$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
	$url=$_SERVER['HTTP_REFERER']; 
	$file=ABSPATH."robotslogs.txt"; 
	$time=nowtime(); 
	$data=fopen($file,"a"); 
	$PR="$_SERVER[REQUEST_URI]"; 
	fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n"); 
	fclose($data); 
	}

再在网站的根目录新建一个 robotslogs.txt 的文本文件用来存放日志,权限设置为 777,然后访问该文件(http://你的网站域名/robotslogs.txt)就可以看到蜘蛛的爬行记录了。再把这个地址存为浏览器书签就能很方便的随时查看了!

WordpPress 非插件纯代码获取蜘蛛来访日志 wordpress

「点点赞赏,手留余香」

还没有人赞赏,快来当第一个赞赏的人吧!

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

龙笑天
龙笑天 关注:32    粉丝:36 最后编辑于:2020-01-11
互助分享,互联网本该如此!

发表评论

表情 贴图 链接 私密 格式 签到
最赞评论
  1. 懿古今
    懿古今 评论达人 LV.1 来自天朝的朋友 谷歌浏览器 31.0.1650.63 Windows XP 广西南宁市 电信

    这个方法很不错啊,很实用

  2. 龙笑天
    龙笑天 永久会员 博主 来自天朝的朋友 谷歌浏览器 39.0.0.0  CHM-TL00H Build/HonorCHM-TL00H) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/39.0.0.0 Mobile Safari/537.36 Appcan/3.1

    @我爱动感单车网其实垃圾蜘蛛可以不用太在意,只需统计百度、谷歌、360 和必应这 4 个就行了。

  3. 我爱动感单车网
    我爱动感单车网 评论达人 LV.3 来自天朝的朋友 谷歌浏览器 45.0.2454.101 Windows XP 广西桂林市 电信

    特意问一下博主,貌似搜狗的蜘蛛统计不到,为什么呢?恳请回复,谢谢!

  1. 我爱动感单车网
    我爱动感单车网 评论达人 LV.3 来自天朝的朋友 谷歌浏览器 45.0.2454.101 Windows XP 广西桂林市 电信

    特意问一下博主,貌似搜狗的蜘蛛统计不到,为什么呢?恳请回复,谢谢!

    地板 2016-07-06 01:26
    1 0 回复
  2. 我爱动感单车网
    我爱动感单车网 评论达人 LV.3 来自天朝的朋友 谷歌浏览器 45.0.2454.101 Windows XP 广西桂林市 电信

    [赞] 赶明儿咱也试试!

    板凳 2016-07-06 00:58
    0 0 回复
  3. 懿古今
    懿古今 评论达人 LV.1 来自天朝的朋友 谷歌浏览器 31.0.1650.63 Windows XP 广西南宁市 电信

    这个方法很不错啊,很实用

    沙发 2015-12-14 10:32
    7 1 回复
扫一扫二维码分享