php记录搜索引擎爬行记录的实现代码


Posted in PHP onMarch 02, 2018

下面是完整代码:

//记录搜索引擎爬行记录 $searchbot = get_naps_bot(); 
if ($searchbot) 
{ $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url = $_SERVER['HTTP_REFERER']; 
$file = WEB_PATH.'robotslogs.txt'; 
$date = date('Y-m-d H:i:s'); 
$data = fopen($file,'a'); 
fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); 
fclose($data);
}

WEB_PATH为index.PHP下define的根目录路径,意思就是说robotslogs.txt文件是放在根目录下的。

通过get_naps_bot()获取蜘蛛爬行记录,然后在通过addslashes处理一下,将数据存储于变量$tlc_thispage中。

fopen打开robotslogs.txt文件,将数据通过函数fwrite写入,在通过函数fclose关闭就可以了。

因为我觉得没必要,所以把自己网站上的代码删除了,所以也没有效果示例了。

PS:php获取各搜索蜘蛛爬行记录的代码

支持如下的搜索引擎:Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录!

代码:

<?php 
/**
* 获取搜索引擎爬行记录
* edit by 3water.com
*/
function get_naps_bot() 
{ 
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
if (strpos($useragent, 'googlebot') !== false){ 
return 'Google'; 
} 
if (strpos($useragent, 'baiduspider') !== false){ 
return 'Baidu'; 
} 
if (strpos($useragent, 'msnbot') !== false){ 
return 'Bing'; 
} 
if (strpos($useragent, 'slurp') !== false){ 
return 'Yahoo'; 
} 
if (strpos($useragent, 'sosospider') !== false){ 
return 'Soso'; 
} 
if (strpos($useragent, 'sogou spider') !== false){ 
return 'Sogou'; 
} 
if (strpos($useragent, 'yodaobot') !== false){ 
return 'Yodao'; 
} 
return false; 
} 
function nowtime(){ 
$date=date("Y-m-d.G:i:s"); 
return $date; 
} 
$searchbot = get_naps_bot(); 
if ($searchbot) { 
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url=$_SERVER['HTTP_REFERER']; 
$file="3water.com.txt"; 
$time=nowtime(); 
$data=fopen($file,"a"); 
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); 
fclose($data); 
} 
?>

总结

以上所述是小编给大家介绍的php记录搜索引擎爬行记录,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

PHP 相关文章推荐
最小化数据传输――在客户端存储数据
Oct 09 PHP
在线竞拍系统的PHP实现框架(二)
Oct 09 PHP
php桌面中心(二) 数据库写入
Mar 11 PHP
PHP Token(令牌)设计
Mar 15 PHP
php调用mysql数据 dbclass类
May 07 PHP
rephactor 优秀的PHP的重构工具
Jun 09 PHP
深入解析PHP中的(伪)多线程与多进程
Jul 01 PHP
PHP中的表达式简述
May 29 PHP
详解Laravel视图间共享数据与视图Composer
Aug 04 PHP
Yii2 中实现单点登录的方法
Mar 09 PHP
PHP共享内存使用与信号控制实例分析
May 09 PHP
PHP封装的分页类与简单用法示例
Feb 25 PHP
LaravelS通过Swoole加速Laravel/Lumen详解
Mar 02 #PHP
PHP生成随机数的方法总结
Mar 01 #PHP
PHP Post获取不到非表单数据的问题解决办法
Feb 27 #PHP
php实现生成带二维码图片并强制下载功能
Feb 24 #PHP
php递归函数怎么用才有效
Feb 24 #PHP
php格式文件打开的四种方法
Feb 24 #PHP
Docker搭建自己的PHP开发环境
Feb 24 #PHP
You might like
五个PHP程序员工具
2008/05/26 PHP
php 攻击方法之谈php+mysql注射语句构造
2009/10/30 PHP
对PHP语言认识上需要避免的10大误区
2014/06/12 PHP
深入理解PHP之OpCode原理详解
2016/06/01 PHP
php中数组最简单的使用方法
2020/12/27 PHP
云网广告中的代码,提示出错,大家找找
2006/11/21 Javascript
FireFox JavaScript全局Event对象
2009/06/14 Javascript
跟我一起学写jQuery插件开发方法(附完整实例及下载)
2010/04/01 Javascript
jquery formValidator插件ajax验证 内容不做任何修改再离开提示错误的bug解决方法
2013/01/04 Javascript
js获取键盘按键响应事件(兼容各浏览器)
2013/05/16 Javascript
jquery的ajax跨域请求原理和示例
2014/05/08 Javascript
Node.js重新刷新session过期时间的方法
2016/02/04 Javascript
jQuery简单创建节点的方法
2016/09/09 Javascript
遍历js中对象的属性和值的实例
2016/11/21 Javascript
拖动时防止选中
2017/02/03 Javascript
angular十大常见问题
2017/03/07 Javascript
vue-cli+webpack记事本项目创建
2017/04/01 Javascript
Node.JS利用PhantomJs抓取网页入门教程
2017/05/19 Javascript
浅谈Vue路由快照实现思路及其问题
2018/06/07 Javascript
React 使用recharts实现散点地图的示例代码
2018/12/07 Javascript
解决Vue router-link绑定事件不生效的问题
2020/07/22 Javascript
[01:12:40]DOTA2-DPC中国联赛 正赛 DLG vs XG BO3 第三场 1月25日
2021/03/11 DOTA
python3 深浅copy对比详解
2019/08/12 Python
使用Pytorch来拟合函数方式
2020/01/14 Python
Python线程协作threading.Condition实现过程解析
2020/03/12 Python
世界上最好的野生海鲜和有机食品:Vital Choice
2020/01/16 全球购物
介绍一下.NET构架下remoting和webservice
2014/05/08 面试题
体育教育毕业生自荐信
2013/11/21 职场文书
英语商务邀请函范文
2014/01/16 职场文书
2013年研究生毕业感言
2014/02/06 职场文书
群众路线教育实践活动对照检查材料
2014/09/22 职场文书
大学生迟到检讨书500字
2014/10/17 职场文书
个人专业技术总结
2015/03/05 职场文书
护士自荐信范文
2015/03/25 职场文书
人口与计划生育责任书
2015/05/09 职场文书
故意杀人案辩护词
2015/05/21 职场文书