详解puppeteer使用代理


Posted in Javascript onDecember 27, 2018

背景

在使用puppeteer进行访问页面的时候,有时候需要用到代理。

环境: centos 7

chrome 安装

puppeteer使用chrome。 参考chrome的命令行使用方式。 在官网中没看到说明,不过一般的执行文件都是支持help的。
在服务器上安装chrome :

vim /etc/yum.repos.d/google-chrome.repo

添加内容

[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

安装浏览器

yum -y install google-chrome-stable

说明: yum search chrome 可以查看供安装的包

chrome 命令行代理

在shell中执行命令:

google-chrome -h

即可看到所有的命令选项,其中 OPTION 下面有代理添加的介绍以及示例:

--proxy-server=host:port
    Specify the HTTP/SOCKS4/SOCKS5 proxy server to use for requests.
    This overrides any environment variables or settings picked via
    the options dialog. An individual proxy server is specified
    using the format:

    [<proxy-scheme>://]<proxy-host>[:<proxy-port>]

    Where <proxy-scheme> is the protocol of the proxy server, and is
    one of:

    "http", "socks", "socks4", "socks5".

    If the <proxy-scheme> is omitted, it defaults to "http". Also
    note that "socks" is equivalent to "socks5".

    Examples:

    --proxy-server="foopy:99"
     Use the HTTP proxy "foopy:99" to load all URLs.

    --proxy-server="socks://foobar:1080"
     Use the SOCKS v5 proxy "foobar:1080" to load all URLs.

    --proxy-server="socks4://foobar:1080"
     Use the SOCKS v4 proxy "foobar:1080" to load all URLs.

    --proxy-server="socks5://foobar:66"
     Use the SOCKS v5 proxy "foobar:66" to load all URLs.

    It is also possible to specify a separate proxy server for dif?
    ferent URL types, by prefixing the proxy server specifier with a
    URL specifier:

    Example:

    --proxy-server="https=proxy1:80;http=socks4://baz:1080"
     Load https://* URLs using the HTTP proxy "proxy1:80". And
    load http://*
     URLs using the SOCKS v4 proxy "baz:1080".


  --no-proxy-server
    Disables the proxy server. Overrides any environment variables
    or settings picked via the options dialog.


  --proxy-auto-detect
    Autodetect proxy configuration. Overrides any environment vari?
    ables or settings picked via the options dialog.


  --proxy-pac-url=URL
    Specify proxy autoconfiguration URL. Overrides any environment
    variables or settings picked via the options dialog.

其中 ?proxy-server= 的值的格式是 [<proxy-scheme>://]<proxy-host>[:<proxy-port>]

其中 http 代理是不需要加 proxy-scheme ,以上的示例中显示 socks 代理是需要添加scheme。

比如:

在本机建立一个 socks5 代理服务器, 本地端口是 1088

google-chrome --headless --disable-gpu --proxy-server="socks5://127.0.0.1:1088" --print-to-pdf https://www.chromestatus.com/

上面的示例中并没有 需要密码(用户)验证的。

puppeteer 添加代理

在以上命令行中, 代理 option 添加方式是:

--proxy-server="socks5://127.0.0.1:1088"

在 puppeteer 中,启动浏览器时添加代理:

const browser = await puppeteer.launch({headless:true, args:['--no-sandbox','--proxy-server=socks5://127.0.0.1:1088']});

具体puppeteer使用参考网上实例。

说明

有关使用账户密码credentials 的代理使用:

1 新建代理
可以在本地新建一个不用密码的代理,该代理访问有密码的代理。 然后puppeteer 中使用该无密码代理

2 页面添加代理
具体使用可以参考: https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md#pageauthenticatecredentials

自己还没使用过.

参考文章:

chrome 安装 https://3water.com/article/153596.htm

puppeteer api 说明 https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md

代理问题 https://github.com/GoogleChrome/puppeteer/issues/336

puppeteer 官方文档 https://pptr.dev/#?product=Puppeteer&version=v1.5.0&show=api-class-page

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Javascript 相关文章推荐
List Installed Hot Fixes
Jun 12 Javascript
IE8 兼容性问题(属性名区分大小写)
Jun 04 Javascript
Javascript 获取链接(url)参数的方法[正则与截取字符串]
Feb 09 Javascript
js下拉菜单语言选项简单实现
Sep 23 Javascript
js实现div闪烁原理及实现代码
Jun 24 Javascript
ANGULARJS中用NG-BIND指令实现单向绑定的例子
Dec 08 Javascript
js实现上一页下一页的效果【附代码】
Mar 10 Javascript
jQuery如何封装输入框插件
Aug 19 Javascript
jquery Banner轮播选项卡
Dec 26 Javascript
jQuery实现的回车触发按钮事件功能示例
Mar 25 jQuery
Vue快速实现通用表单验证的方法
Feb 24 Javascript
微信小程序实现选项卡滑动切换
Oct 22 Javascript
Angular(5.2-&gt;6.1)升级小结
Dec 27 #Javascript
详解angular2 控制视图的封装模式
Dec 27 #Javascript
JavaScript原型对象原理与应用分析
Dec 27 #Javascript
angular6 填坑之sdk的方法
Dec 27 #Javascript
react+ant design实现Table的增、删、改的示例代码
Dec 27 #Javascript
React降级配置及Ant Design配置详解
Dec 27 #Javascript
详解Ant Design of React的安装和使用方法
Dec 27 #Javascript
You might like
PHP数组遍历知识汇总(包含遍历方法、数组指针操作函数、数组遍历测速)
2014/07/05 PHP
PHP类的反射用法实例
2014/11/03 PHP
php使用wordwrap格式化文本段落的方法
2015/03/17 PHP
PHP测试成功的邮件发送案例
2015/10/26 PHP
php json相关函数用法示例
2017/03/28 PHP
php curl批处理实现可控并发异步操作示例
2018/05/09 PHP
用Div仿showModalDialog模式菜单的效果的代码
2007/03/05 Javascript
Webkit的跨域安全问题说明
2011/09/13 Javascript
extjs_02_grid显示本地数据、显示跨域数据
2014/06/23 Javascript
js实现鼠标滚轮控制图片缩放效果的方法
2015/02/20 Javascript
JavaScript数据类型之基本类型和引用类型的值
2015/04/01 Javascript
JavaScript实现鼠标点击后层展开效果的方法
2015/05/13 Javascript
Jquery简单实现GridView行高亮的方法
2015/06/15 Javascript
jQuery实现的点赞随机数字显示动画效果(附在线演示与demo源码下载)
2015/12/31 Javascript
浅谈jquery的map()和each()方法
2016/06/12 Javascript
bootstrap table使用入门基本用法
2017/05/24 Javascript
vue loadmore 组件滑动加载更多源码解析
2017/07/19 Javascript
React学习之受控组件与数据共享实例分析
2020/01/06 Javascript
JavaScript 监听组合按键思路及代码实现
2020/07/28 Javascript
vue的hash值原理也是table切换实例代码
2020/12/14 Vue.js
[01:08:10]2014 DOTA2国际邀请赛中国区预选赛 SPD-GAMING VS LGD-CDEC
2014/05/22 DOTA
跟老齐学Python之集成开发环境(IDE)
2014/09/12 Python
详解Python文件修改的两种方式
2019/08/22 Python
python元组的概念知识点
2019/11/19 Python
Python集成开发工具Pycharm的安装和使用详解
2020/03/18 Python
Python使用Matlab命令过程解析
2020/06/04 Python
英国高街奥特莱斯:Highstreet Outlet
2019/11/21 全球购物
瑞典最大的儿童用品网上商店:pinkorblue.se
2021/03/09 全球购物
犯错检讨书
2014/02/21 职场文书
行政管理毕业生自荐信
2014/02/24 职场文书
市级青年文明号申报材料
2014/05/26 职场文书
物资采购方案
2014/06/12 职场文书
2014年最新个人对照检查材料范文
2014/09/25 职场文书
个人总结格式范文
2015/03/09 职场文书
2015年护士节慰问信
2015/03/23 职场文书
2015年业务工作总结范文
2015/04/10 职场文书