Python基于execjs运行js过程解析


Posted in Python onNovember 27, 2020

execjs 使用

有了selenium+Chrome Headless 加载页面为什么还要用execjs来运行js?

selenium+Chrome Headless 必然是爬虫的一大利器,可是缺点依然存在, 性能问题不可忽视。

但这构不成舍弃它而不用的理由。我认为舍弃包括Chrome Headless、PhantomJS在内的无头浏览器的原因主要有以下几点:

1. 页面结构改变、弹窗(一些网站的页面结构经常无规则改变), 影响代码的健壮性。

2. 无头浏览器的应用场景主要是一些模拟登陆账号密码加密的场景, 爬虫全程使用无头浏览器, 影响性能和效率, 浪费资源。

3. 通过js加密的网站, 可以看得到加密过程,可以拿得到加密源码。

1. 安装

pip install PyExecJS # 需要注意, 包的名称:PyExecJS

2. 简单使用

import execjs
execjs.eval("new Date")

返回值为: 2018-04-04T12:53:17.759Z

execjs.eval("Date.now()")

返回值为:1522847001080 # 需要注意的是返回值是13位, 区别于python的time.time()

需要注意的是: 个别的JS语句, 用execjs返回的结果跟浏览器环境返回的结果是有区别的, 以下是浏览器环境返回的结果
浏览器环境运行的结果

Python基于execjs运行js过程解析

3. 调用函数

# 实际生产中处理的js有几百几千行, 不方便贴上来。来看一下源码中给的例子:
 ctx = execjs.compile("""
    function add(x, y) {
        return x + y;
      }
""")
 ctx.call("add", 1, 2) # 第一个参数 “add” 为JS函数名的字符串, 后边依次为实参
 返回值:3

execjs的用法非常简单, 下边来看一下执行JS的环境, 以及性能:

4. 执行JS的环境

# 1. 在windows上不需要其他的依赖便可运行execjs, 也可以调用其他的JS环境
  # windows 默认的执行JS的环境
    execjs.get().name
    返回值: JScript
  # 作者本人的windows上装有Node.js , 所以返回值不同
   execjs.get().name
   返回值: Node.js (V8)

#2. 在ubuntu下需要安装执行JS环境依赖, 作者的环境为PhantomJS
    execjs.get().name
    返回值: PhantomJS

#3. 源码中给出, 可执行execjs的环境:
 PyV8      = "PyV8"
 Node      = "Node"
 JavaScriptCore = "JavaScriptCore"
 SpiderMonkey  = "SpiderMonkey"
 JScript    = "JScript"
 PhantomJS   = "PhantomJS"
 SlimerJS    = "SlimerJS"
 Nashorn    = "Nashorn"

注1:作者之前在ubuntu环境下执行execjs碰见过因为没有环境而报错,因时间久远,无法肯定。 现在环境齐全, 报错无法复原,如有读者出现错误, 请留言, 多谢!

更新注1:经过朋友老冀的指正(在此感谢),在ubuntu环境下, 没有JS环境会报错:Could not find an available JavaScript runtime. 由此可见, execjs在ubuntu需要安装JS环境 。具体的JS环境需根据具体的需求安装, 切不可超过以上8种。

5.环境切换

# 1. 通过os.environ
  os.environ["EXECJS_RUNTIME"] = "Node"
  execjs.get().name
  execjs.eval("1 + 2")
  # 2. 通过execjs.get 切换
   jscript = execjs.get(execjs.runtime_names.JScript) # runtime_names 便是execjs源码中给出的执行环境的。 execjs.runtime_names.xxx xxx必须在上一节 #3中取
   jscript.eval("1 + 2")

注: 在切换环境时, 当环境不存在不会报错, 会使用默认的环境。 另外需要注意的是, 两种方式的区别

6. 简易性能分析

# 作者只简单试了三种, 在windows下
import execjs
import os
import time

# 先用JScript
os.environ["EXECJS_RUNTIME"] = "JScript"
print execjs.get().name

time1 = time.time()
for i in range(100):
  execjs.eval("new Date")
print time.time() - time1

# 切换环境 使用Nodejs
os.environ["EXECJS_RUNTIME"] = "Node"
print execjs.get().name

time2 = time.time()
for l in range(100):
  execjs.eval("new Date")
print time.time() - time2

# 打印的结果为:
JScript
4.70900011063
Node.js (V8)
27.501999855

# 在ubuntu下试的是PhantoJS , 结果竟然高达 30+ S

此注释来自execjs作者:PyExecJS的缺点之一就是性能。PyExecJS通过文本传递JavaScript运行时,并且速度很慢。另一个缺点是它不完全支持运行时特定的功能。对于某些用例,PyV8可能是更好的选择。

总注:使用execjs的难点并不是在execjs这个库, 而是解析JS的过程, 因为没有浏览器的环境, 没有加密源码的依赖。从成千上万行的JS中择出想要的内容,可能是一段孤零零的JS函数,也可能是从几个JS文件去找出各自找出一段JS代码, 并可以通过execjs顺利执行, 这并非易事。 需要慢慢积累经验。 一旦掌握, 便可以提高爬虫的效率, 以及代码的健壮性, 节省资源!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
gearman的安装启动及python API使用实例
Jul 08 Python
分析在Python中何种情况下需要使用断言
Apr 01 Python
python控制台中实现进度条功能
Nov 10 Python
Python实现爬虫从网络上下载文档的实例代码
Jun 13 Python
对PyTorch torch.stack的实例讲解
Jul 30 Python
不归路系列:Python入门之旅-一定要注意缩进!!!(推荐)
Apr 16 Python
用django设置session过期时间的方法解析
Aug 05 Python
如何获取Python简单for循环索引
Nov 21 Python
基于python 凸包问题的解决
Apr 16 Python
用python实现前向分词最大匹配算法的示例代码
Aug 06 Python
如何利用pycharm进行代码更新比较
Nov 04 Python
matplotlib bar()实现百分比堆积柱状图
Feb 24 Python
celery在python爬虫中定时操作实例讲解
Nov 27 #Python
python输出国际象棋棋盘的实例分享
Nov 26 #Python
Django多个app urls配置代码实例
Nov 26 #Python
python Xpath语法的使用
Nov 26 #Python
python模拟点击玩游戏的实例讲解
Nov 26 #Python
Python批量修改xml的坐标值全部转为整数的实例代码
Nov 26 #Python
Django filter动态过滤与排序实现过程解析
Nov 26 #Python
You might like
PHP根据两点间的经纬度计算距离
2014/10/31 PHP
PHP基于imap获取邮件实例
2014/11/11 PHP
PHP二维数组实现去除重复项的方法【保留各个键值】
2017/12/21 PHP
thinkPHP框架整合tcpdf插件操作示例
2018/08/07 PHP
php中如何执行linux命令详解
2018/11/06 PHP
php + ajax 实现的写入数据库操作简单示例
2020/05/16 PHP
ExtJS 2.0实用简明教程 之Border区域布局
2009/04/29 Javascript
jQuery弹出框代码封装DialogHelper
2015/01/30 Javascript
JavaScript Split()方法
2015/12/18 Javascript
JavaScript+CSS实现的可折叠二级菜单实例
2016/02/29 Javascript
关于Javascript中defer和async的区别总结
2016/09/20 Javascript
bootstrap select插件封装成Vue2.0组件
2017/04/17 Javascript
jQuery修改DOM结构_动力节点Java学院整理
2017/07/05 jQuery
vue脚手架及vue-router基本使用
2018/04/09 Javascript
vue element项目引入icon图标的方法
2018/06/06 Javascript
Node.js 使用request模块下载文件的实例
2018/09/05 Javascript
浅谈JS for循环中使用break和continue的区别
2020/07/21 Javascript
vue-cli3访问public文件夹静态资源报错的解决方式
2020/09/02 Javascript
[01:11:11]Alliance vs RNG 2019国际邀请赛淘汰赛 败者组BO1 8.20.mp4
2020/07/19 DOTA
Python过滤列表用法实例分析
2016/04/29 Python
Python中的字符串查找操作方法总结
2016/06/27 Python
Python语言描述连续子数组的最大和
2018/01/04 Python
python使用jieba实现中文分词去停用词方法示例
2018/03/11 Python
python读取文本中数据并转化为DataFrame的实例
2018/04/10 Python
Python延时操作实现方法示例
2018/08/14 Python
浅谈python 中类属性共享的问题
2019/07/02 Python
python 实现return返回多个值
2019/11/19 Python
Python3爬虫关于识别检验滑动验证码的实例
2020/07/30 Python
HTML5不支持frameset的两种解决方法
2016/11/14 HTML / CSS
HTML5实现移动端点击翻牌功能
2020/10/23 HTML / CSS
国际知名军事风格休闲装品牌:Alpha Industries(阿尔法工业)
2017/05/24 全球购物
家长对老师的感言
2014/03/11 职场文书
月度优秀员工获奖感言
2014/08/16 职场文书
员工聘用合同范本
2015/09/21 职场文书
Python基于Tkinter开发一个爬取B站直播弹幕的工具
2021/05/06 Python
CSS使用SVG实现动态分布的圆环发散路径动画
2022/12/24 HTML / CSS