龙笑天龙笑天  2015-12-14 06:10 龙笑天下 隐藏边栏 |   6 条评论  434 
文章评分 19 次,平均分 5.0

网站 seo 方面博大精深,小天对这方面了解的也不是很多,所以有点班门弄斧的意思。这里只希望把最近遇到的一个关于 seo 的问题分享给大家,希望对大家有所帮助。要做好 seo,为了优化好网站,分析了解蜘蛛的爬行动向,清楚的了解蜘蛛爬行规律也是很重要的。

今天要实现的这个功能就是把蜘蛛的爬行记录列出来,生成一个日志,以方便站长们分析统计蜘蛛动向。当然对于这个功能肯定是有一款针对的插件的,比如:wp-log-robots。但是我的原则是能不用插件就不用插件,所以在此给大家分享的是无插件代码版的获取蜘蛛抓取日志。

首先,找到 wordpress 主题文件目录下的 functions.php 文件,用代码编辑软件打开,在最后一个?>之前添加以下代码:

/**
 * WordpPress 非插件纯代码获取蜘蛛来访日志
 * https://www.ilxtx.com/how-to-get-spiders-logs.html
 */
function get_naps_bot(){ 
	$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
	if (strpos($useragent, 'googlebot') !== false){ return 'Googlebot'; } 
	if (strpos($useragent, 'msnbot') !== false){ return 'MSNbot'; } 
	if (strpos($useragent, 'slurp') !== false){ return 'Yahoobot'; } 
	if (strpos($useragent, 'baiduspider') !== false){ return 'Baiduspider'; } 
	if (strpos($useragent, 'sohu-search') !== false){ return 'Sohubot'; } 
	if (strpos($useragent, 'lycos') !== false){ return 'Lycos'; } 
	if (strpos($useragent, 'robozilla') !== false){ return 'Robozilla'; } 
        if (strpos($useragent, '360spider') !== false){ return '360Spider'; }
	return false; 
	} 
function nowtime(){ 
	date_default_timezone_set('Asia/Shanghai'); 
	$date=date("Y-m-d.G:i:s"); return $date; 
	} 
	$searchbot = get_naps_bot(); 
if ($searchbot) { 
	$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
	$url=$_SERVER['HTTP_REFERER']; 
	$file=ABSPATH."robotslogs.txt"; 
	$time=nowtime(); 
	$data=fopen($file,"a"); 
	$PR="$_SERVER[REQUEST_URI]"; 
	fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n"); 
	fclose($data); 
	}

再在网站的根目录新建一个 robotslogs.txt 的文本文件用来存放日志,权限设置为 777,然后访问该文件(http://你的网站域名/robotslogs.txt)就可以看到蜘蛛的爬行记录了。再把这个地址存为浏览器书签就能很方便的随时查看了!

WordpPress 非插件纯代码获取蜘蛛来访日志 wordpress

「点点赞赏,手留余香」

还没有人赞赏,快来当第一个赞赏的人吧!

本文为原创文章,版权归所有,欢迎分享本文,转载请保留出处!

龙笑天
龙笑天 关注:32    粉丝:41 最后编辑于:2020-01-11
互助分享,互联网本该如此!

发表评论

表情 贴图 链接 私密 格式 签到
最赞评论
  1. 懿古今
    懿古今 评论达人 LV.1 中国 Google Chrome 31.0.1650.63 Windows XP 广西南宁市 电信

    这个方法很不错啊,很实用

  2. 龙笑天
    龙笑天 永久会员 博主 中国 Google Chrome 39.0.0.0 Android 5.1.1

    @我爱动感单车网其实垃圾蜘蛛可以不用太在意,只需统计百度、谷歌、360 和必应这 4 个就行了。

  3. 我爱动感单车网
    我爱动感单车网 评论达人 LV.3 中国 Google Chrome 45.0.2454.101 Windows XP 广西桂林市 电信

    特意问一下博主,貌似搜狗的蜘蛛统计不到,为什么呢?恳请回复,谢谢!

  1. 我爱动感单车网
    我爱动感单车网 评论达人 LV.3 中国 Google Chrome 45.0.2454.101 Windows XP 广西桂林市 电信

    特意问一下博主,貌似搜狗的蜘蛛统计不到,为什么呢?恳请回复,谢谢!

    地板 2016-07-06 01:26
    1 回复
  2. 我爱动感单车网
    我爱动感单车网 评论达人 LV.3 中国 Google Chrome 45.0.2454.101 Windows XP 广西桂林市 电信

    [赞] 赶明儿咱也试试!

    板凳 2016-07-06 00:58
    0 回复
  3. 懿古今
    懿古今 评论达人 LV.1 中国 Google Chrome 31.0.1650.63 Windows XP 广西南宁市 电信

    这个方法很不错啊,很实用

    沙发 2015-12-14 10:32
    7 回复
扫一扫二维码分享