Selenium+BeautifulSoup+json获取Script标签内的json数据


Posted in Python onDecember 07, 2020

Selenium爬虫遇到 数据是以 JSON 字符串的形式包裹在 Script 标签中,

假设Script标签下代码如下:

<script id="DATA_INFO" type="application/json" >
{
  "user": {
    "isLogin": true,
    "userInfo": {
      "id": 123456,
      "nickname": "LiMing",
      "intro": "人生苦短,我用python"
    }
  }
}
</script>

此时drive.find_elements_by_xpath('//*[@id="DATA_INFO"] 只能定位到元素,但是无法通过.text方法,获取Script标签下的json数据

from bs4 import BeautifulSoup as bs
import json as js
#selenium获取当前页面源码
html = drive.page_source
#BeautifulSoup转换页面源码
bs=BeautifulSoup(html,'lxml')
#获取Script标签下的完整json数据,并通过json加载成字典格式
js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text())
#获取Script标签下的nickname 值
js_tes

到此这篇关于Selenium+BeautifulSoup+json获取Script标签内的json数据的文章就介绍到这了,更多相关Selenium+BeautifulSoup获取json内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python计数排序和基数排序算法实例
Apr 25 Python
python实现可将字符转换成大写的tcp服务器实例
Apr 29 Python
举例讲解如何在Python编程中进行迭代和遍历
Jan 19 Python
Python利用Beautiful Soup模块搜索内容详解
Mar 29 Python
python构建自定义回调函数详解
Jun 20 Python
Python实现爬虫抓取与读写、追加到excel文件操作示例
Jun 27 Python
Python实现的批量修改文件后缀名操作示例
Dec 07 Python
python 计算平均平方误差(MSE)的实例
Jun 29 Python
python列表的逆序遍历实现
Apr 20 Python
Python通过两个dataframe用for循环求笛卡尔积
Apr 29 Python
浅谈对python中if、elif、else的误解
Aug 20 Python
解决pytorch 模型复制的一些问题
Mar 03 Python
Python爬虫实战案例之爬取喜马拉雅音频数据详解
Dec 07 #Python
用python对excel查重
Dec 07 #Python
python3 通过 pybind11 使用Eigen加速代码的步骤详解
Dec 07 #Python
python 通过 pybind11 使用Eigen加速代码的步骤
Dec 07 #Python
Python中BeautifulSoup通过查找Id获取元素信息
Dec 07 #Python
BeautifulSoup中find和find_all的使用详解
Dec 07 #Python
python爬虫beautifulsoup解析html方法
Dec 07 #Python
You might like
基于php冒泡排序算法的深入理解
2013/06/09 PHP
php实现图片文件与下载文件防盗链的方法
2014/11/03 PHP
php实现比较两个字符串日期大小的方法
2015/05/12 PHP
jquery 学习之一 对象访问
2010/11/23 Javascript
js中浮点型运算BUG的解决方法说明
2014/01/06 Javascript
Javascript学习笔记之 函数篇(三) : 闭包和引用
2014/11/23 Javascript
浅析$.getJSON异步请求和同步请求
2016/06/06 Javascript
JS把内容动态插入到DIV的实现方法
2016/07/19 Javascript
RGB和YUV 多媒体编程基础详细介绍
2016/11/04 Javascript
Radio 单选JS动态添加的选项onchange事件无效的解决方法
2016/12/12 Javascript
vue2.0 自定义日期时间过滤器
2017/06/07 Javascript
关于在vue-cli中使用微信自动登录和分享的实例
2017/06/22 Javascript
vue实现图片滚动的示例代码(类似走马灯效果)
2018/03/03 Javascript
JsChart组件使用详解
2018/03/04 Javascript
JavaScript EventEmitter 背后的秘密 完整版
2018/03/29 Javascript
Node.js使用cookie保持登录的方法
2018/05/11 Javascript
详解python3实现的web端json通信协议
2016/12/29 Python
python 网络编程详解及简单实例
2017/04/25 Python
python数据结构之链表的实例讲解
2017/07/25 Python
Python实现matplotlib显示中文的方法详解
2018/02/06 Python
python中返回矩阵的行列方法
2018/04/04 Python
使用python对多个txt文件中的数据进行筛选的方法
2019/07/10 Python
Django的CVB实例详解
2020/02/10 Python
完美解决keras保存好的model不能成功加载问题
2020/06/11 Python
Python中用xlwt制作表格实例讲解
2020/11/05 Python
利用CSS3实现动态的二级三级菜单效果实例源码
2017/01/04 HTML / CSS
介绍一下游标
2012/01/10 面试题
高级护理实习生自荐信
2013/09/28 职场文书
税务干部鉴定材料
2014/02/11 职场文书
高中班主任评语
2014/12/30 职场文书
2015年环卫处个人工作总结
2015/07/27 职场文书
2016春季校长开学典礼致辞
2015/11/26 职场文书
2016社区平安家庭事迹材料
2016/02/26 职场文书
2019年最新七夕唯美祝福语(60条)
2019/07/22 职场文书
浅析MySQL如何实现事务隔离
2021/06/26 MySQL
python index() 与 rindex() 方法的使用示例详解
2022/12/24 Python