php记录搜索引擎爬行记录的实现代码


Posted in PHP onMarch 02, 2018

下面是完整代码:

//记录搜索引擎爬行记录 $searchbot = get_naps_bot(); 
if ($searchbot) 
{ $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url = $_SERVER['HTTP_REFERER']; 
$file = WEB_PATH.'robotslogs.txt'; 
$date = date('Y-m-d H:i:s'); 
$data = fopen($file,'a'); 
fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n"); 
fclose($data);
}

WEB_PATH为index.PHP下define的根目录路径,意思就是说robotslogs.txt文件是放在根目录下的。

通过get_naps_bot()获取蜘蛛爬行记录,然后在通过addslashes处理一下,将数据存储于变量$tlc_thispage中。

fopen打开robotslogs.txt文件,将数据通过函数fwrite写入,在通过函数fclose关闭就可以了。

因为我觉得没必要,所以把自己网站上的代码删除了,所以也没有效果示例了。

PS:php获取各搜索蜘蛛爬行记录的代码

支持如下的搜索引擎:Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行网站的记录!

代码:

<?php 
/**
* 获取搜索引擎爬行记录
* edit by 3water.com
*/
function get_naps_bot() 
{ 
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']); 
if (strpos($useragent, 'googlebot') !== false){ 
return 'Google'; 
} 
if (strpos($useragent, 'baiduspider') !== false){ 
return 'Baidu'; 
} 
if (strpos($useragent, 'msnbot') !== false){ 
return 'Bing'; 
} 
if (strpos($useragent, 'slurp') !== false){ 
return 'Yahoo'; 
} 
if (strpos($useragent, 'sosospider') !== false){ 
return 'Soso'; 
} 
if (strpos($useragent, 'sogou spider') !== false){ 
return 'Sogou'; 
} 
if (strpos($useragent, 'yodaobot') !== false){ 
return 'Yodao'; 
} 
return false; 
} 
function nowtime(){ 
$date=date("Y-m-d.G:i:s"); 
return $date; 
} 
$searchbot = get_naps_bot(); 
if ($searchbot) { 
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']); 
$url=$_SERVER['HTTP_REFERER']; 
$file="3water.com.txt"; 
$time=nowtime(); 
$data=fopen($file,"a"); 
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n"); 
fclose($data); 
} 
?>

总结

以上所述是小编给大家介绍的php记录搜索引擎爬行记录,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

PHP 相关文章推荐
php echo 输出字符串函数详解
May 13 PHP
yii框架源码分析之创建controller代码
Jun 28 PHP
深入file_get_contents函数抓取内容失败的原因分析
Jun 25 PHP
浅析php变量修饰符static的使用
Jun 28 PHP
php $_SERVER windows系统与linux系统下的区别说明
Feb 14 PHP
PHP图片等比例缩放生成缩略图函数分享
Jun 10 PHP
thinkphp常见路径用法分析
Dec 02 PHP
Linux安装配置php环境的方法
Jan 14 PHP
详解Laravel视图间共享数据与视图Composer
Aug 04 PHP
php实现构建排除当前元素的乘积数组方法
Oct 06 PHP
Laravel 5.5 异常处理 &amp; 错误日志的解决
Oct 17 PHP
PHP发送邮件确认验证注册功能示例【修改别人邮件类】
Nov 09 PHP
LaravelS通过Swoole加速Laravel/Lumen详解
Mar 02 #PHP
PHP生成随机数的方法总结
Mar 01 #PHP
PHP Post获取不到非表单数据的问题解决办法
Feb 27 #PHP
php实现生成带二维码图片并强制下载功能
Feb 24 #PHP
php递归函数怎么用才有效
Feb 24 #PHP
php格式文件打开的四种方法
Feb 24 #PHP
Docker搭建自己的PHP开发环境
Feb 24 #PHP
You might like
一个颜色轮换的简单例子
2006/10/09 PHP
探讨:php中在foreach中使用foreach ($arr as &amp;$value) 这种类型的解释
2013/06/24 PHP
使用phpQuery采集网页的方法
2013/11/13 PHP
用PHP解决的一个栈的面试题
2014/07/02 PHP
THINKPHP项目开发中的日志记录实例分析
2014/12/01 PHP
PHP 二维数组和三维数组的过滤
2016/03/16 PHP
PHP实现的pdo连接数据库并插入数据功能简单示例
2019/03/30 PHP
PHP如何将图片文件上传到另外一台服务器上
2019/08/26 PHP
jquery+ajax+C#实现无刷新操作数据库数据的简单实例
2014/02/08 Javascript
如何使用Bootstrap的modal组件自定义alert,confirm和modal对话框
2016/03/01 Javascript
JavaScript类型系统之布尔Boolean类型详解
2016/06/26 Javascript
JS排序之快速排序详解
2017/04/08 Javascript
JavaScript的数据类型转换原则(干货)
2018/03/15 Javascript
详解如何模拟实现node中的Events模块(通俗易懂版)
2019/04/15 Javascript
javascript 内存模型实例详解
2020/04/18 Javascript
vue 数据操作相关总结
2020/12/17 Vue.js
[01:10]DOTA2次级职业联赛 - U5战队宣传片
2014/12/01 DOTA
[01:23:45]DOTA2-DPC中国联赛 正赛 CDEC vs Dragon BO3 第一场 1月22日
2021/03/11 DOTA
python实现按长宽比缩放图片
2018/06/07 Python
数据清洗--DataFrame中的空值处理方法
2018/07/03 Python
不到20行代码用Python做一个智能聊天机器人
2019/04/19 Python
python爬虫开发之使用python爬虫库requests,urllib与今日头条搜索功能爬取搜索内容实例
2020/03/10 Python
使用Pycharm在运行过程中,查看每个变量的操作(show variables)
2020/06/08 Python
Python3爬虫发送请求的知识点实例
2020/07/30 Python
人力资源主管岗位职责
2014/01/29 职场文书
王力宏牛津大学演讲稿
2014/05/22 职场文书
事业单位鉴定材料
2014/05/25 职场文书
好好学习保证书
2015/02/26 职场文书
2016年度先进班组事迹材料
2016/03/01 职场文书
小学教代会开幕词
2016/03/04 职场文书
go语言中fallthrough的用法说明
2021/05/06 Golang
详解如何用Python实现感知器算法
2021/06/18 Python
Apache Pulsar集群搭建部署详细过程
2022/02/12 Servers
「女孩的钓鱼慢活」全新版权绘公布
2022/03/21 日漫
Python实现科学占卜 让视频自动打码
2022/04/09 Python
深入理解 Golang 的字符串
2022/05/04 Golang