时间:2021-05-25
背景
在使用puppeteer进行访问页面的时候,有时候需要用到代理。
环境: centos 7
chrome 安装
puppeteer使用chrome。 参考chrome的命令行使用方式。 在官网中没看到说明,不过一般的执行文件都是支持help的。
在服务器上安装chrome :
添加内容
[google-chrome]name=google-chromebaseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearchenabled=1gpgcheck=1gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub安装浏览器
yum -y install google-chrome-stable说明: yum search chrome 可以查看供安装的包
chrome 命令行代理
在shell中执行命令:
google-chrome -h即可看到所有的命令选项,其中 OPTION 下面有代理添加的介绍以及示例:
--proxy-server=host:port Specify the HTTP/SOCKS4/SOCKS5 proxy server to use for requests. This overrides any environment variables or settings picked via the options dialog. An individual proxy server is specified using the format: [<proxy-scheme>://]<proxy-host>[:<proxy-port>] Where <proxy-scheme> is the protocol of the proxy server, and is one of: "http", "socks", "socks4", "socks5". If the <proxy-scheme> is omitted, it defaults to "http". Also note that "socks" is equivalent to "socks5". Examples: --proxy-server="foopy:99" Use the HTTP proxy "foopy:99" to load all URLs. --proxy-server="socks://foobar:1080" Use the SOCKS v5 proxy "foobar:1080" to load all URLs. --proxy-server="socks4://foobar:1080" Use the SOCKS v4 proxy "foobar:1080" to load all URLs. --proxy-server="socks5://foobar:66" Use the SOCKS v5 proxy "foobar:66" to load all URLs. It is also possible to specify a separate proxy server for dif‐ ferent URL types, by prefixing the proxy server specifier with a URL specifier: Example: --proxy-server="https=proxy1:80;http=socks4://baz:1080" Load https://* URLs using the HTTP proxy "proxy1:80". And load http://* URLs using the SOCKS v4 proxy "baz:1080". --no-proxy-server Disables the proxy server. Overrides any environment variables or settings picked via the options dialog. --proxy-auto-detect Autodetect proxy configuration. Overrides any environment vari‐ ables or settings picked via the options dialog. --proxy-pac-url=URL Specify proxy autoconfiguration URL. Overrides any environment variables or settings picked via the options dialog.其中 –proxy-server= 的值的格式是 [<proxy-scheme>://]<proxy-host>[:<proxy-port>]
其中 http 代理是不需要加 proxy-scheme ,以上的示例中显示 socks 代理是需要添加scheme。
比如:
在本机建立一个 socks5 代理服务器, 本地端口是 1088
复制代码 代码如下:google-chrome --headless --disable-gpu --proxy-server="socks5://127.0.0.1:1088" --print-to-pdf https:///GoogleChrome/puppeteer/issues/336
puppeteer 官方文档 https://pptr.dev/#?product=Puppeteer&version=v1.5.0&show=api-class-page
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
因为网络原因,国内安装puppeteer的时候会报网络超时。这里使用puppeteer-core之后使用手动下载的Chrome进行操作。思路很简单,安装一个不带
Puppeteer介绍Puppeteer翻译是操纵木偶的人,利用这个工具,我们能做一个操纵页面的人。Puppeteer是一个Nodejs的库,支持调用Chrom
puppeteer是谷歌官方出品的一个通过DevTools协议控制headlessChrome的Node库。可以通过Puppeteer的提供的api直接控制Ch
1、Puppeteer简介Puppeteer是一个node库,他提供了一组用来操纵Chrome的API,通俗来说就是一个headlesschrome浏览器(当然
详解javaJDK动态代理类分析(java.lang.reflect.Proxy)/***JDK动态代理类分析(java.lang.reflect.Proxy使