php记录搜索引擎爬行记录的实现代码


Posted in PHP onMarch 02, 2018

下面是完整代码:

//记录搜索引擎爬行记录 $searchbot = get_naps_bot(); 
if ($searchbot) 
{ $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url = $_SERVER['HTTP_REFERER']; 
$file = WEB_PATH.'robotslogs.txt'; 
$date = date('Y-m-d H:i:s'); 
$data = fopen($file,'a'); 
fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); 
fclose($data);
}

WEB_PATH为index.PHP下define的根目录路径,意思就是说robotslogs.txt文件是放在根目录下的。

通过get_naps_bot()获取蜘蛛爬行记录,然后在通过addslashes处理一下,将数据存储于变量$tlc_thispage中。

fopen打开robotslogs.txt文件,将数据通过函数fwrite写入,在通过函数fclose关闭就可以了。

因为我觉得没必要,所以把自己网站上的代码删除了,所以也没有效果示例了。

PS:php获取各搜索蜘蛛爬行记录的代码

支持如下的搜索引擎:Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录!

代码:

<?php 
/**
* 获取搜索引擎爬行记录
* edit by 3water.com
*/
function get_naps_bot() 
{ 
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
if (strpos($useragent, 'googlebot') !== false){ 
return 'Google'; 
} 
if (strpos($useragent, 'baiduspider') !== false){ 
return 'Baidu'; 
} 
if (strpos($useragent, 'msnbot') !== false){ 
return 'Bing'; 
} 
if (strpos($useragent, 'slurp') !== false){ 
return 'Yahoo'; 
} 
if (strpos($useragent, 'sosospider') !== false){ 
return 'Soso'; 
} 
if (strpos($useragent, 'sogou spider') !== false){ 
return 'Sogou'; 
} 
if (strpos($useragent, 'yodaobot') !== false){ 
return 'Yodao'; 
} 
return false; 
} 
function nowtime(){ 
$date=date("Y-m-d.G:i:s"); 
return $date; 
} 
$searchbot = get_naps_bot(); 
if ($searchbot) { 
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url=$_SERVER['HTTP_REFERER']; 
$file="3water.com.txt"; 
$time=nowtime(); 
$data=fopen($file,"a"); 
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); 
fclose($data); 
} 
?>

总结

以上所述是小编给大家介绍的php记录搜索引擎爬行记录,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

PHP 相关文章推荐
IIS下PHP连接数据库提示mysql undefined function mysql_connect()
Jun 04 PHP
ThinkPHP2.0读取MSSQL提示Incorrect syntax near the keyword 'AS'的解决方法
Jun 25 PHP
简单实用的网站PHP缓存类实例
Jul 18 PHP
PHP实现仿Google分页效果的分页函数
Jul 29 PHP
深入理解PHP之OpCode原理详解
Jun 01 PHP
WordPress分页伪静态加html后缀
Jun 08 PHP
PHP互换两个变量值的方法(不用第三变量)
Nov 14 PHP
让ThinkPHP的模板引擎达到最佳效率的方法详解
Mar 14 PHP
PHP实现数组向任意位置插入,删除,替换数据操作示例
Apr 05 PHP
php+ajax实现商品对比功能示例
Apr 13 PHP
php-fpm重启导致的程序执行中断问题详解
Apr 29 PHP
PHP配合fiddler抓包抓取微信指数小程序数据的实现方法分析
Jan 02 PHP
LaravelS通过Swoole加速Laravel/Lumen详解
Mar 02 #PHP
PHP生成随机数的方法总结
Mar 01 #PHP
PHP Post获取不到非表单数据的问题解决办法
Feb 27 #PHP
php实现生成带二维码图片并强制下载功能
Feb 24 #PHP
php递归函数怎么用才有效
Feb 24 #PHP
php格式文件打开的四种方法
Feb 24 #PHP
Docker搭建自己的PHP开发环境
Feb 24 #PHP
You might like
PHP十六进制颜色随机生成器功能示例
2017/07/24 PHP
PHP简单实现模拟登陆功能示例
2017/09/15 PHP
PHP验证类的封装与使用方法详解
2019/01/10 PHP
javascript 写类方式之四
2009/07/05 Javascript
bgsound 背景音乐 的一些常用方法及特殊用法小结
2010/05/11 Javascript
初窥JQuery(二)事件机制(2)
2010/12/06 Javascript
使用jquery mobile做幻灯播放效果实现步骤
2013/01/04 Javascript
ZeroClipboard插件实现多浏览器复制功能(支持firefox、chrome、ie6)
2014/08/30 Javascript
js使用setTimeout实现定时炸弹的方法
2015/04/10 Javascript
javascript表格的渲染组件
2015/07/03 Javascript
Angular实现form自动布局
2016/01/28 Javascript
详细总结Javascript中的焦点管理
2016/09/17 Javascript
js拖拽功能实现代码解析
2016/11/28 Javascript
Javascript实现base64的加密解密方法示例
2017/06/27 Javascript
layui中使用jquery控制radio选中事件的示例代码
2018/08/15 jQuery
jQuery实现条件搜索查询、实时取值及升降序排序的方法分析
2019/05/04 jQuery
layui动态表头的实现代码
2019/08/22 Javascript
vue源码中的检测方法的实现
2019/09/26 Javascript
在vue项目中利用popstate处理页面返回的操作介绍
2020/08/06 Javascript
JS轮播图的实现方法2
2020/08/25 Javascript
[26:21]浴火之凤-TI4世界冠军Newbee战队纪录片
2014/08/07 DOTA
[03:11]DOTA2上海特锦赛小组赛第一日recap精彩回顾
2016/02/28 DOTA
[50:28]2018DOTA2亚洲邀请赛 3.31 小组赛 A组 Newbee vs KG
2018/04/01 DOTA
python负载均衡的简单实现方法
2018/02/04 Python
Python实现基于TCP UDP协议的IPv4 IPv6模式客户端和服务端功能示例
2018/03/22 Python
Python 元类实例解析
2018/04/04 Python
python-tkinter之按钮的使用,开关方法
2019/06/11 Python
python爬虫 猫眼电影和电影天堂数据csv和mysql存储过程解析
2019/09/05 Python
python库matplotlib绘制坐标图
2019/10/18 Python
Python实现直播推流效果
2019/11/26 Python
Python:合并两个numpy矩阵的实现
2019/12/02 Python
员工试用期自我评价
2014/09/18 职场文书
婚礼嘉宾致辞
2015/07/28 职场文书
同事欢送会致辞
2015/07/31 职场文书
python 开心网和豆瓣日记爬取的小爬虫
2021/05/29 Python
Android存储中最基本的文件存储方式
2022/04/30 Java/Android