php记录搜索引擎爬行记录的实现代码


Posted in PHP onMarch 02, 2018

下面是完整代码:

//记录搜索引擎爬行记录 $searchbot = get_naps_bot(); 
if ($searchbot) 
{ $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url = $_SERVER['HTTP_REFERER']; 
$file = WEB_PATH.'robotslogs.txt'; 
$date = date('Y-m-d H:i:s'); 
$data = fopen($file,'a'); 
fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); 
fclose($data);
}

WEB_PATH为index.PHP下define的根目录路径,意思就是说robotslogs.txt文件是放在根目录下的。

通过get_naps_bot()获取蜘蛛爬行记录,然后在通过addslashes处理一下,将数据存储于变量$tlc_thispage中。

fopen打开robotslogs.txt文件,将数据通过函数fwrite写入,在通过函数fclose关闭就可以了。

因为我觉得没必要,所以把自己网站上的代码删除了,所以也没有效果示例了。

PS:php获取各搜索蜘蛛爬行记录的代码

支持如下的搜索引擎:Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录!

代码:

<?php 
/**
* 获取搜索引擎爬行记录
* edit by 3water.com
*/
function get_naps_bot() 
{ 
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
if (strpos($useragent, 'googlebot') !== false){ 
return 'Google'; 
} 
if (strpos($useragent, 'baiduspider') !== false){ 
return 'Baidu'; 
} 
if (strpos($useragent, 'msnbot') !== false){ 
return 'Bing'; 
} 
if (strpos($useragent, 'slurp') !== false){ 
return 'Yahoo'; 
} 
if (strpos($useragent, 'sosospider') !== false){ 
return 'Soso'; 
} 
if (strpos($useragent, 'sogou spider') !== false){ 
return 'Sogou'; 
} 
if (strpos($useragent, 'yodaobot') !== false){ 
return 'Yodao'; 
} 
return false; 
} 
function nowtime(){ 
$date=date("Y-m-d.G:i:s"); 
return $date; 
} 
$searchbot = get_naps_bot(); 
if ($searchbot) { 
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url=$_SERVER['HTTP_REFERER']; 
$file="3water.com.txt"; 
$time=nowtime(); 
$data=fopen($file,"a"); 
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); 
fclose($data); 
} 
?>

总结

以上所述是小编给大家介绍的php记录搜索引擎爬行记录,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

PHP 相关文章推荐
php性能优化分析工具XDebug 大型网站调试工具
May 22 PHP
关于PHP堆栈与列队的学习
Jun 21 PHP
解析php dirname()与__FILE__常量的应用
Jun 24 PHP
分享微信扫码支付开发遇到问题及解决方案-附Ecshop微信支付插件
Aug 23 PHP
php实现点击可刷新验证码
Nov 07 PHP
简单谈谈php延迟静态绑定
Jan 26 PHP
Laravel重写用户登录简单示例
Oct 08 PHP
基于php判断客户端类型
Oct 14 PHP
老生常谈PHP面向对象之命令模式(必看篇)
May 24 PHP
PHP生成各种随机验证码的方法总结【附demo源码】
Jun 05 PHP
php往mysql中批量插入数据实例教程
Dec 12 PHP
YII2框架中ActiveDataProvider与GridView的配合使用操作示例
Mar 18 PHP
LaravelS通过Swoole加速Laravel/Lumen详解
Mar 02 #PHP
PHP生成随机数的方法总结
Mar 01 #PHP
PHP Post获取不到非表单数据的问题解决办法
Feb 27 #PHP
php实现生成带二维码图片并强制下载功能
Feb 24 #PHP
php递归函数怎么用才有效
Feb 24 #PHP
php格式文件打开的四种方法
Feb 24 #PHP
Docker搭建自己的PHP开发环境
Feb 24 #PHP
You might like
解决php中Cannot send session cache limiter 的问题的方法
2007/04/27 PHP
php中rename函数用法分析
2014/11/15 PHP
PHP空值检测函数与方法汇总
2017/11/19 PHP
js调用flash的效果代码
2008/04/26 Javascript
判断多个元素(RADIO,CHECKBOX等)是否被选择的原理说明
2009/02/18 Javascript
jQuery 使用手册(三)
2009/09/23 Javascript
js改变img标签的src属性在IE下没反应的解决方法
2013/07/23 Javascript
原生js实现移动开发轮播图、相册滑动特效
2015/04/17 Javascript
jQuery实现表格展开与折叠的方法
2015/05/04 Javascript
Java  Spring 事务回滚详解
2016/10/17 Javascript
JS+html5制作简单音乐播放器
2020/09/13 Javascript
javascript修改浏览器title方法 JS动态修改浏览器标题
2017/11/30 Javascript
微信小程序swiper组件用法实例分析【附源码下载】
2017/12/07 Javascript
JavaScript之数组扁平化详解
2019/06/03 Javascript
koa-passport实现本地验证的方法示例
2020/02/20 Javascript
鸿蒙系统中的 JS 开发框架
2020/09/18 Javascript
Python学习_几种存取xls/xlsx文件的方法总结
2018/05/03 Python
python 构造三维全零数组的方法
2018/11/12 Python
浅析Python 实现一个自动化翻译和替换的工具
2019/04/14 Python
Python中print和return的作用及区别解析
2019/05/05 Python
关于python中plt.hist参数的使用详解
2019/11/28 Python
Python爬取微信小程序Charles实现过程图解
2020/09/29 Python
tensorflow2.0教程之Keras快速入门
2021/02/20 Python
CSS3感应鼠标的背景闪烁和图片缩放动画效果
2014/05/14 HTML / CSS
使用html5 canvas创建太空游戏的示例
2014/05/08 HTML / CSS
英国内衣连锁店:Boux Avenue
2018/01/24 全球购物
介绍一下Java中的static关键字
2012/05/12 面试题
护理专业自荐信
2013/12/03 职场文书
第一批党的群众路线教育实践活动工作总结
2014/03/03 职场文书
优质护理服务演讲稿
2014/05/07 职场文书
研究生简历自我评
2015/03/11 职场文书
捐款仪式主持词
2015/07/04 职场文书
三八妇女节主持词
2015/07/04 职场文书
实验室安全管理制度
2015/08/05 职场文书
小学数学教师研修日志
2015/11/13 职场文书
盘点2020年适合农村地区创业的项目
2019/10/16 职场文书