详解puppeteer使用代理


Posted in Javascript onDecember 27, 2018

背景

在使用puppeteer进行访问页面的时候,有时候需要用到代理。

环境: centos 7

chrome 安装

puppeteer使用chrome。 参考chrome的命令行使用方式。 在官网中没看到说明,不过一般的执行文件都是支持help的。
在服务器上安装chrome :

vim /etc/yum.repos.d/google-chrome.repo

添加内容

[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

安装浏览器

yum -y install google-chrome-stable

说明: yum search chrome 可以查看供安装的包

chrome 命令行代理

在shell中执行命令:

google-chrome -h

即可看到所有的命令选项,其中 OPTION 下面有代理添加的介绍以及示例:

--proxy-server=host:port
    Specify the HTTP/SOCKS4/SOCKS5 proxy server to use for requests.
    This overrides any environment variables or settings picked via
    the options dialog. An individual proxy server is specified
    using the format:

    [<proxy-scheme>://]<proxy-host>[:<proxy-port>]

    Where <proxy-scheme> is the protocol of the proxy server, and is
    one of:

    "http", "socks", "socks4", "socks5".

    If the <proxy-scheme> is omitted, it defaults to "http". Also
    note that "socks" is equivalent to "socks5".

    Examples:

    --proxy-server="foopy:99"
     Use the HTTP proxy "foopy:99" to load all URLs.

    --proxy-server="socks://foobar:1080"
     Use the SOCKS v5 proxy "foobar:1080" to load all URLs.

    --proxy-server="socks4://foobar:1080"
     Use the SOCKS v4 proxy "foobar:1080" to load all URLs.

    --proxy-server="socks5://foobar:66"
     Use the SOCKS v5 proxy "foobar:66" to load all URLs.

    It is also possible to specify a separate proxy server for dif?
    ferent URL types, by prefixing the proxy server specifier with a
    URL specifier:

    Example:

    --proxy-server="https=proxy1:80;http=socks4://baz:1080"
     Load https://* URLs using the HTTP proxy "proxy1:80". And
    load http://*
     URLs using the SOCKS v4 proxy "baz:1080".


  --no-proxy-server
    Disables the proxy server. Overrides any environment variables
    or settings picked via the options dialog.


  --proxy-auto-detect
    Autodetect proxy configuration. Overrides any environment vari?
    ables or settings picked via the options dialog.


  --proxy-pac-url=URL
    Specify proxy autoconfiguration URL. Overrides any environment
    variables or settings picked via the options dialog.

其中 ?proxy-server= 的值的格式是 [<proxy-scheme>://]<proxy-host>[:<proxy-port>]

其中 http 代理是不需要加 proxy-scheme ,以上的示例中显示 socks 代理是需要添加scheme。

比如:

在本机建立一个 socks5 代理服务器, 本地端口是 1088

google-chrome --headless --disable-gpu --proxy-server="socks5://127.0.0.1:1088" --print-to-pdf https://www.chromestatus.com/

上面的示例中并没有 需要密码(用户)验证的。

puppeteer 添加代理

在以上命令行中, 代理 option 添加方式是:

--proxy-server="socks5://127.0.0.1:1088"

在 puppeteer 中,启动浏览器时添加代理:

const browser = await puppeteer.launch({headless:true, args:['--no-sandbox','--proxy-server=socks5://127.0.0.1:1088']});

具体puppeteer使用参考网上实例。

说明

有关使用账户密码credentials 的代理使用:

1 新建代理
可以在本地新建一个不用密码的代理,该代理访问有密码的代理。 然后puppeteer 中使用该无密码代理

2 页面添加代理
具体使用可以参考: https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md#pageauthenticatecredentials

自己还没使用过.

参考文章:

chrome 安装 https://3water.com/article/153596.htm

puppeteer api 说明 https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md

代理问题 https://github.com/GoogleChrome/puppeteer/issues/336

puppeteer 官方文档 https://pptr.dev/#?product=Puppeteer&version=v1.5.0&show=api-class-page

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
基于jquery实现的可以编辑选择的下拉框的代码
Nov 19 Javascript
多浏览器兼容性比较好的复制到剪贴板的js代码
Oct 09 Javascript
jQuery浏览器CSS3特写兼容实例
Jan 19 Javascript
js+html5实现canvas绘制圆形图案的方法
Jun 05 Javascript
canvas实现钟表效果
Feb 13 Javascript
jQuery实用密码强度检测
Mar 02 Javascript
Vue学习笔记进阶篇之vue-router安装及使用方法
Jul 19 Javascript
微信小程序实现倒计时补零功能
Jul 09 Javascript
详解使用Nuxt.js快速搭建服务端渲染(SSR)应用
Mar 13 Javascript
Vue + Element UI图片上传控件使用详解
Aug 20 Javascript
layer页面跳转,获取html子节点元素的值方法
Sep 27 Javascript
基于VUE实现判断设备是PC还是移动端
Jul 03 Javascript
Angular(5.2-&gt;6.1)升级小结
Dec 27 #Javascript
详解angular2 控制视图的封装模式
Dec 27 #Javascript
JavaScript原型对象原理与应用分析
Dec 27 #Javascript
angular6 填坑之sdk的方法
Dec 27 #Javascript
react+ant design实现Table的增、删、改的示例代码
Dec 27 #Javascript
React降级配置及Ant Design配置详解
Dec 27 #Javascript
详解Ant Design of React的安装和使用方法
Dec 27 #Javascript
You might like
加强版phplib的DB类
2008/03/31 PHP
php MySQL与分页效率
2008/06/04 PHP
使用php自动备份数据库表的实现方法
2017/07/28 PHP
Ext JS 4官方文档之三 -- 类体系概述与实践
2012/12/16 Javascript
Javascript获取HTML静态页面参数传递值示例
2013/08/18 Javascript
jquery采用oop模式class类的使用示例
2016/01/22 Javascript
javascript检测移动设备横竖屏
2016/05/21 Javascript
jQuery简单入门示例之用户校验demo示例
2016/07/09 Javascript
jQuery插件HighCharts实现的2D堆条状图效果示例【附demo源码下载】
2017/03/14 Javascript
JS实现的汉字与Unicode码相互转化功能分析
2018/05/25 Javascript
vue服务端渲染添加缓存的方法
2018/09/18 Javascript
使用vue2.0创建的项目的步骤方法
2018/09/25 Javascript
JS数组扁平化(flat)方法总结详解
2019/06/24 Javascript
nodejs各种姿势断点调试的方法
2020/06/18 NodeJs
微信小程序实现可拖动悬浮图标(包括按钮角标的实现)
2020/12/29 Javascript
[02:28]DOTA2 2017国际邀请赛小组赛回顾
2017/08/09 DOTA
linux系统使用python获取内存使用信息脚本分享
2014/01/15 Python
Python 的 with 语句详解
2014/06/13 Python
numpy matrix和array的乘和加实例
2018/06/28 Python
替换python字典中的key值方法
2018/07/06 Python
解决Python运行文件出现out of memory框的问题
2018/12/03 Python
python 实现生成均匀分布的点
2019/12/05 Python
利用PyCharm操作Github(仓库新建、更新,代码回滚)
2019/12/18 Python
探秘TensorFlow 和 NumPy 的 Broadcasting 机制
2020/03/13 Python
Python多个装饰器的调用顺序实例解析
2020/05/22 Python
解决python pandas读取excel中多个不同sheet表格存在的问题
2020/07/14 Python
Expected conditions模块使用方法汇总代码解析
2020/08/13 Python
jupyter notebook远程访问不了的问题解决方法
2021/01/11 Python
将时尚融入珠宝:Adornmonde
2019/10/17 全球购物
意大利包包和行李箱销售网站:Bagaglio.it
2021/03/02 全球购物
高三自我鉴定怎么写
2013/10/19 职场文书
小学毕业感言150字
2014/02/05 职场文书
党委班子剖析材料
2014/08/21 职场文书
党的群众路线教育实践活动个人对照检查材料
2014/09/22 职场文书
2016年综治和平安建设宣传月活动总结
2016/04/01 职场文书
利用 JavaScript 构建命令行应用
2021/11/17 Javascript