Python实现自动访问网页的例子


Posted in Python onFebruary 21, 2020

我就废话不多说了,直接上代码吧!

import urllib.request
import requests
import time
import ssl
import random

def openUrl(ip, agent):
 headers = {'User-Agent': agent}
 proxies = {'http' : ip}
 requests.get("https://www.baidu.com", headers=headers, proxies=proxies, verify=True)
 ssl._create_default_https_context = ssl._create_unverified_context
 print("Access to success.")

#IP池
#IP来源:
# http://www.xicidaili.com/
# https://www.kuaidaili.com/free/
def randomIP():
 ip = random.choice(['120.78.78.141', '122.72.18.35', '120.92.119.229'])
 return ip

#User-Agent
#User-Agent来源:http://www.useragentstring.com/pages/useragentstring.php
def randomUserAgent():
 UserAgent = random.choice(['Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36',
        'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36'])
 return UserAgent

if __name__ == '__main__':
 for i in range(10):
  ip = randomIP()
  agent = randomUserAgent()
  openUrl(ip, agent)
  time.sleep(1)

补充拓展:Python模拟浏览器实现网页访问方式

模拟浏览器请求数据:

import socket

# 创建TCP链接
tcp_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# DNS 解析和链接HTTP服务器
tcp_socket.connect(("www.qq.com", 80))

# 编写请求头, 发送HTTP请求报文
# 请求行
request_line = "GET / HTTP/1.1\r\n"
# 请求头,设置请求域名
request_header = "www.qq.com\r\n"
request_data = request_line + request_header + "\r\n"

# 发送请求
tcp_socket.send(request_data.encode("utf-8"))
# 接收响应报文,指定长度
response_data = tcp_socket.recv(4096)
# 对响应报文进行解析 --切割
response_str_data = response_data.decode("utf-8")
print(response_data)
# "\r\n\r\n" 之后的数据就是响应体数据
index = response_str_data.find("\r\n\r\n")
# 切割出的数据就是文件数据
html_data = response_str_data[index+4:]
# 在当前路径下新建文件存储响应数据
with open("index.html", "wb") as file:
 file.write(html_data.encode())
# 关闭套接字
tcp_socket.close()

以上这篇Python实现自动访问网页的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python中操作时间之mktime()方法的使用教程
May 22 Python
详解Python发送邮件实例
Jan 10 Python
python3.5实现socket通讯示例(TCP)
Feb 07 Python
Python中Django发送带图片和附件的邮件
Mar 31 Python
tensorflow 输出权重到csv或txt的实例
Jun 14 Python
python读取xlsx的方法
Dec 25 Python
使用CodeMirror实现Python3在线编辑器的示例代码
Jan 14 Python
python调用外部程序的实操步骤
Mar 04 Python
详解Python的循环结构知识点
May 20 Python
python实现高斯判别分析算法的例子
Dec 09 Python
Python连接Hadoop数据中遇到的各种坑(汇总)
Apr 14 Python
解决Python 函数声明先后顺序出现的问题
Sep 02 Python
解决Python pip 自动更新升级失败的问题
Feb 21 #Python
python利用百度云接口实现车牌识别的示例
Feb 21 #Python
在python3中实现更新界面
Feb 21 #Python
Python要如何实现列表排序的几种方法
Feb 21 #Python
python用WxPython库实现无边框窗体和透明窗体实现方法详解
Feb 21 #Python
使用Python打造一款间谍程序的流程分析
Feb 21 #Python
python实现堆排序的实例讲解
Feb 21 #Python
You might like
短波的认识
2021/03/01 无线电
高亮度显示php源代码
2006/10/09 PHP
PHP数据的提交与过滤基本操作实例详解
2016/11/11 PHP
PHP大文件切割上传功能实例分析
2019/07/01 PHP
解决extjs在firefox中关闭窗口再打开后iframe中js函数访问不到的问题
2008/11/06 Javascript
javascript 读取xml,写入xml 实现代码
2009/07/10 Javascript
js 对联广告、漂浮广告封装类(IE,FF,Opera,Safari,Chrome
2009/11/26 Javascript
javascript使用avalon绑定实现checkbox全选
2015/05/06 Javascript
Position属性之relative用法
2015/12/14 Javascript
js 判断一组日期是否是连续的简单实例
2016/07/11 Javascript
jquery的父、子、兄弟节点查找,节点的子节点循环方法
2016/12/07 Javascript
微信小程序ajax实现请求服务器数据及模版遍历数据功能示例
2017/12/15 Javascript
Chart.js 轻量级HTML5图表绘制工具库(知识整理)
2018/05/22 Javascript
Vue多系统切换实现方案
2018/06/05 Javascript
微信小程序仿朋友圈发布动态功能
2018/07/15 Javascript
angularJs中orderBy筛选以及filter过滤数据的方法
2018/09/30 Javascript
微信小程序中使用Async-await方法异步请求变为同步请求方法
2019/03/28 Javascript
vue 地图可视化 maptalks 篇实例代码详解
2019/05/21 Javascript
基于VUE实现简单的学生信息管理系统
2021/01/13 Vue.js
[01:21]2018DOTA2亚洲邀请赛4.5采访 打DOTA2也能有女朋友?
2018/04/06 DOTA
[00:32]2018DOTA2亚洲邀请赛出场——VP
2018/04/04 DOTA
python引入导入自定义模块和外部文件的实例
2017/07/24 Python
python opencv之SURF算法示例
2018/02/24 Python
python 用lambda函数替换for循环的方法
2018/06/09 Python
Python XML转Json之XML2Dict的使用方法
2019/01/15 Python
Python实现的在特定目录下导入模块功能分析
2019/02/11 Python
浅谈tensorflow 中的图片读取和裁剪方式
2020/06/30 Python
Python基于mediainfo批量重命名图片文件
2020/12/29 Python
美国设计师精美珠宝购物网:Netaya
2016/08/28 全球购物
希尔顿酒店官方网站:Hilton Hotels
2017/06/01 全球购物
房产代理公证处委托书
2014/04/04 职场文书
保护野生动物倡议书
2014/05/16 职场文书
单位承诺书格式
2014/05/21 职场文书
雷锋的故事观后感
2015/06/10 职场文书
关于环保的广播稿
2015/12/17 职场文书
多台电脑共享文件怎么设置?多台电脑共享文件操作教程
2022/04/08 数码科技