Python实现抖音热搜定时爬取功能


Posted in Python onMarch 16, 2022

大家好,我是丁小杰。

上次和大家分享了Python定时爬取微博热搜示例介绍,堪称摸鱼神器,一个热榜不够看?今天我们再来爬取一下抖音热搜榜,感兴趣的小伙伴可以自己动手尝试一下哦。

抖音热搜榜

链接:https://tophub.today/n/K7GdaMgdQy

Python实现抖音热搜定时爬取功能

整个热榜共50条数据,本次爬取的内容:排名、热度、标题、链接。

requests 爬取

requests 是一种非常简单的方法,由于该页面没有反爬措施,所以直接get 请求页面即可。

import requests
import pandas as pd

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36'
}
url = 'https://tophub.today/n/K7GdaMgdQy'
page_text = requests.get(url=url, headers=headers).text
page_text

Python实现抖音热搜定时爬取功能

可以看到,只需要几行代码,数据就很轻松地获取到了。

selenium 爬取

selenium设置为无头浏览器,打开指定url获取页面数据。

from selenium import webdriver

option = webdriver.ChromeOptions()
option.add_argument('--headless')

driver = webdriver.Chrome(options=option)

url = 'https://tophub.today/n/K7GdaMgdQy'
driver.get(url)

page_text = driver.page_source

两种爬取方法都能够成功获取到数据,但requests相对简洁,整个代码运行速度也更快,如果页面数据不是动态加载的话,用requests相对方便。

数据解析

现在用lxml库解析我们爬取的数据,并保存到excel中。

tree = etree.HTML(page_text)

tr_list = tree.xpath(
    '//*[@id="page"]/div[2]/div[2]/div[1]/div[2]/div/div[1]/table/tbody/tr')

df = pd.DataFrame(columns=['排名', '热度', '标题', '链接'])
for index, tr in enumerate(tr_list):
    hot = tr.xpath('./td[3]/text()')[0]
    title = tr.xpath('./td[2]/a/text()')[0]
    article_url = tr.xpath('./td[2]/a/@href')[0]
    df = df.append({
        '排名': index + 1,
        '热度': hot,
        '标题': title,
        '链接': article_url}, ignore_index=True)
df['链接'] = 'https://tophub.today' + df['链接']
df

运行结果

Python实现抖音热搜定时爬取功能

设置定时运行

至此,爬取代码已经完成,想要实现每小时自动运行代码,可以使用任务计划程序。

打开任务计划程序,【创建任务】

Python实现抖音热搜定时爬取功能

输入名称,名称随便起就好。

Python实现抖音热搜定时爬取功能

选择【触发器】>>【新建】>>【设置触发时间】

Python实现抖音热搜定时爬取功能

选择【操作】>>【新建】>>【选择程序】

Python实现抖音热搜定时爬取功能

最后确认即可。到时间就会自动运行,或者右键任务手动运行。

这就是今天要分享的内容,整体难度不大,希望大家能够有所收获,文章中的代码拼接起来就可以运行!

以上就是Python实现抖音热搜定时爬取功能的详细内容,更多关于Python抖音热搜爬取的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python 实现归并排序算法
Jun 05 Python
使用python搭建Django应用程序步骤及版本冲突问题解决
Nov 19 Python
Linux系统上Nginx+Python的web.py与Django框架环境
Dec 25 Python
python对配置文件.ini进行增删改查操作的方法示例
Jul 28 Python
Python3简单实例计算同花的概率代码
Dec 06 Python
Python实现的序列化和反序列化二叉树算法示例
Mar 02 Python
python实现AES加密和解密
Mar 27 Python
Python英文文章词频统计(14份剑桥真题词频统计)
Oct 13 Python
flask 使用 flask_apscheduler 做定时循环任务的实现
Dec 10 Python
python GUI库图形界面开发之PyQt5动态加载QSS样式文件
Feb 25 Python
python实现取余操作的简单实例
Aug 16 Python
Python List remove()实例用法详解
Aug 02 Python
Python3的进程和线程你了解吗
Mar 16 #Python
python的列表生成式,生成器和generator对象你了解吗
Mar 16 #Python
bat批处理之字符串操作的实现
Mar 16 #Python
一起来学习Python的元组和列表
Mar 13 #Python
python自动化测试之Selenium详解
python数字类型和占位符详情
Mar 13 #Python
Python+Selenium自动化环境搭建与操作基础详解
You might like
第五节 克隆 [5]
2006/10/09 PHP
Apache 配置详解(最好的APACHE配置教程)
2010/07/04 PHP
一个PHP的QRcode类与大家分享
2011/11/13 PHP
基于CI(CodeIgniter)框架实现购物车功能的方法
2018/04/09 PHP
PHP堆栈调试操作简单示例
2018/06/15 PHP
thinkphp5框架调用其它控制器方法 实现自定义跳转界面功能示例
2019/07/03 PHP
响应鼠标变换表格背景或者颜色的代码
2009/03/30 Javascript
js 蒙版进度条(结合图片)
2010/03/10 Javascript
Javascript创建Silverlight Plugin以及自定义nonSilverlight和lowSilverlight样式
2010/06/28 Javascript
js Array对象的扩展函数代码
2013/04/24 Javascript
jQuery使用ajaxSubmit()提交表单示例
2014/04/04 Javascript
JQuery查找DOM节点的方法
2015/06/11 Javascript
nodejs创建web服务器之hello world程序
2015/08/20 NodeJs
JavaScript设计模式经典之工厂模式
2016/02/24 Javascript
jQuery实现两列等高并自适应高度
2016/12/22 Javascript
jquery 实现复选框的全选操作实例代码
2017/01/24 Javascript
jsTree事件和交互以及插件plugins详解
2017/08/29 Javascript
p5.js入门教程之图片加载
2018/03/20 Javascript
详解angular2 控制视图的封装模式
2018/12/27 Javascript
了解JavaScript表单操作和表单域
2019/05/27 Javascript
Python实现的tab文件操作类分享
2014/11/20 Python
Python中的闭包详细介绍和实例
2014/11/21 Python
Python中max函数用于二维列表的实例
2018/04/03 Python
Python计算指定日期是今年的第几天(三种方法)
2020/03/26 Python
Django中如何用xlwt生成表格的方法步骤
2021/01/31 Python
美国第一大药店连锁机构:Walgreens(沃尔格林)
2019/10/10 全球购物
简历中个人自我评价分享
2014/03/15 职场文书
合伙协议书范本
2014/04/21 职场文书
大一工商管理职业生涯规划:有梦最美,行动相随
2014/09/18 职场文书
2014年商场工作总结
2014/11/22 职场文书
2014年惩防体系建设工作总结
2014/12/01 职场文书
2014年终工作总结范本
2014/12/15 职场文书
土建施工员岗位职责
2015/04/11 职场文书
mysql 带多个条件的查询方式
2021/06/05 MySQL
Python常用配置文件ini、json、yaml读写总结
2021/07/09 Python
Java后台生成图片的完整步骤
2021/08/04 Java/Android