Python基于execjs运行js过程解析


Posted in Python onNovember 27, 2020

execjs 使用

有了selenium+Chrome Headless 加载页面为什么还要用execjs来运行js?

selenium+Chrome Headless 必然是爬虫的一大利器,可是缺点依然存在, 性能问题不可忽视。

但这构不成舍弃它而不用的理由。我认为舍弃包括Chrome Headless、PhantomJS在内的无头浏览器的原因主要有以下几点:

1. 页面结构改变、弹窗(一些网站的页面结构经常无规则改变), 影响代码的健壮性。

2. 无头浏览器的应用场景主要是一些模拟登陆账号密码加密的场景, 爬虫全程使用无头浏览器, 影响性能和效率, 浪费资源。

3. 通过js加密的网站, 可以看得到加密过程,可以拿得到加密源码。

1. 安装

pip install PyExecJS # 需要注意, 包的名称:PyExecJS

2. 简单使用

import execjs
execjs.eval("new Date")

返回值为: 2018-04-04T12:53:17.759Z

execjs.eval("Date.now()")

返回值为:1522847001080 # 需要注意的是返回值是13位, 区别于python的time.time()

需要注意的是: 个别的JS语句, 用execjs返回的结果跟浏览器环境返回的结果是有区别的, 以下是浏览器环境返回的结果
浏览器环境运行的结果

Python基于execjs运行js过程解析

3. 调用函数

# 实际生产中处理的js有几百几千行, 不方便贴上来。来看一下源码中给的例子:
 ctx = execjs.compile("""
    function add(x, y) {
        return x + y;
      }
""")
 ctx.call("add", 1, 2) # 第一个参数 “add” 为JS函数名的字符串, 后边依次为实参
 返回值:3

execjs的用法非常简单, 下边来看一下执行JS的环境, 以及性能:

4. 执行JS的环境

# 1. 在windows上不需要其他的依赖便可运行execjs, 也可以调用其他的JS环境
  # windows 默认的执行JS的环境
    execjs.get().name
    返回值: JScript
  # 作者本人的windows上装有Node.js , 所以返回值不同
   execjs.get().name
   返回值: Node.js (V8)

#2. 在ubuntu下需要安装执行JS环境依赖, 作者的环境为PhantomJS
    execjs.get().name
    返回值: PhantomJS

#3. 源码中给出, 可执行execjs的环境:
 PyV8      = "PyV8"
 Node      = "Node"
 JavaScriptCore = "JavaScriptCore"
 SpiderMonkey  = "SpiderMonkey"
 JScript    = "JScript"
 PhantomJS   = "PhantomJS"
 SlimerJS    = "SlimerJS"
 Nashorn    = "Nashorn"

注1:作者之前在ubuntu环境下执行execjs碰见过因为没有环境而报错,因时间久远,无法肯定。 现在环境齐全, 报错无法复原,如有读者出现错误, 请留言, 多谢!

更新注1:经过朋友老冀的指正(在此感谢),在ubuntu环境下, 没有JS环境会报错:Could not find an available JavaScript runtime. 由此可见, execjs在ubuntu需要安装JS环境 。具体的JS环境需根据具体的需求安装, 切不可超过以上8种。

5.环境切换

# 1. 通过os.environ
  os.environ["EXECJS_RUNTIME"] = "Node"
  execjs.get().name
  execjs.eval("1 + 2")
  # 2. 通过execjs.get 切换
   jscript = execjs.get(execjs.runtime_names.JScript) # runtime_names 便是execjs源码中给出的执行环境的。 execjs.runtime_names.xxx xxx必须在上一节 #3中取
   jscript.eval("1 + 2")

注: 在切换环境时, 当环境不存在不会报错, 会使用默认的环境。 另外需要注意的是, 两种方式的区别

6. 简易性能分析

# 作者只简单试了三种, 在windows下
import execjs
import os
import time

# 先用JScript
os.environ["EXECJS_RUNTIME"] = "JScript"
print execjs.get().name

time1 = time.time()
for i in range(100):
  execjs.eval("new Date")
print time.time() - time1

# 切换环境 使用Nodejs
os.environ["EXECJS_RUNTIME"] = "Node"
print execjs.get().name

time2 = time.time()
for l in range(100):
  execjs.eval("new Date")
print time.time() - time2

# 打印的结果为:
JScript
4.70900011063
Node.js (V8)
27.501999855

# 在ubuntu下试的是PhantoJS , 结果竟然高达 30+ S

此注释来自execjs作者:PyExecJS的缺点之一就是性能。PyExecJS通过文本传递JavaScript运行时,并且速度很慢。另一个缺点是它不完全支持运行时特定的功能。对于某些用例,PyV8可能是更好的选择。

总注:使用execjs的难点并不是在execjs这个库, 而是解析JS的过程, 因为没有浏览器的环境, 没有加密源码的依赖。从成千上万行的JS中择出想要的内容,可能是一段孤零零的JS函数,也可能是从几个JS文件去找出各自找出一段JS代码, 并可以通过execjs顺利执行, 这并非易事。 需要慢慢积累经验。 一旦掌握, 便可以提高爬虫的效率, 以及代码的健壮性, 节省资源!

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python根据list重命名文件夹里的所有文件实例
Oct 25 Python
selenium+python自动化测试环境搭建步骤
Jun 03 Python
Python字符串中添加、插入特定字符的方法
Sep 10 Python
TensorFlow自定义损失函数来预测商品销售量
Feb 05 Python
关于多元线性回归分析——Python&SPSS
Feb 24 Python
python实现猜数游戏
Mar 27 Python
Python map及filter函数使用方法解析
Aug 06 Python
如何把python项目部署到linux服务器
Aug 26 Python
python3实现语音转文字(语音识别)和文字转语音(语音合成)
Oct 14 Python
Python操作Excel的学习笔记
Feb 18 Python
详解Python中openpyxl模块基本用法
Feb 23 Python
Python竟然能剪辑视频
May 25 Python
celery在python爬虫中定时操作实例讲解
Nov 27 #Python
python输出国际象棋棋盘的实例分享
Nov 26 #Python
Django多个app urls配置代码实例
Nov 26 #Python
python Xpath语法的使用
Nov 26 #Python
python模拟点击玩游戏的实例讲解
Nov 26 #Python
Python批量修改xml的坐标值全部转为整数的实例代码
Nov 26 #Python
Django filter动态过滤与排序实现过程解析
Nov 26 #Python
You might like
php小型企业库存管理系统的设计与实现代码
2011/05/16 PHP
php 检查电子邮件函数(自写)
2014/01/16 PHP
PHP抓取远程图片(含不带后缀的)教程详解
2016/10/21 PHP
PHP实现基于图的深度优先遍历输出1,2,3...n的全排列功能
2017/11/10 PHP
PHP异步进程助手async-helper
2018/02/05 PHP
JS面向对象、prototype、call()、apply()
2009/05/14 Javascript
JavaScript解析URL参数示例代码
2013/08/12 Javascript
jquery表单验证插件(jquery.validate.js)的3种使用方式
2015/03/28 Javascript
适用于javascript开发者的Processing.js入门教程
2016/02/24 Javascript
jquery动态切换背景图片的简单实现方法
2016/05/14 Javascript
jQuery下拉框的简单应用
2016/06/24 Javascript
微信小程序组件之srcoll-view的详解
2017/10/19 Javascript
详解刷新页面vuex数据不消失和不跳转页面的解决
2018/01/30 Javascript
AngularJs用户输入动态模板XSS攻击示例详解
2018/04/21 Javascript
angular2组件中定时刷新并清除定时器的实例讲解
2018/08/31 Javascript
微信小程序实现签到功能
2018/10/31 Javascript
extract-text-webpack-plugin用法详解
2019/02/14 Javascript
vue-cli中使用高德地图的方法示例
2019/03/28 Javascript
vue中node_modules中第三方模块的修改使用详解
2019/05/31 Javascript
Vue-cli 移动端布局和动画使用详解
2020/08/10 Javascript
python实现基本进制转换的方法
2015/07/11 Python
在Python中的Django框架中进行字符串翻译
2015/07/27 Python
让Django支持Sql Server作后端数据库的方法
2018/05/29 Python
基于numpy中数组元素的切片复制方法
2018/11/15 Python
详解使用python绘制混淆矩阵(confusion_matrix)
2019/07/14 Python
python中sort和sorted排序的实例方法
2019/08/26 Python
世界上最全面的草药补充剂和顶级品牌维生素网站:HerbsPro
2019/01/20 全球购物
四查四看剖析材料
2014/02/14 职场文书
小区物业门卫岗位职责
2014/04/10 职场文书
护士感人事迹
2014/05/01 职场文书
体现团队精神的口号
2014/06/06 职场文书
教育实习指导教师评语
2014/12/31 职场文书
励志语录:时光飞逝,请学会珍惜所有的人和事
2020/01/16 职场文书
jquery插件实现图片悬浮
2021/04/16 jQuery
CSS实现两列布局的N种方法
2021/08/02 HTML / CSS
游戏《铁拳》动画化!2022年年内播出
2022/03/21 日漫