Python实现自动访问网页的例子


Posted in Python onFebruary 21, 2020

我就废话不多说了,直接上代码吧!

import urllib.request
import requests
import time
import ssl
import random

def openUrl(ip, agent):
 headers = {'User-Agent': agent}
 proxies = {'http' : ip}
 requests.get("https://www.baidu.com", headers=headers, proxies=proxies, verify=True)
 ssl._create_default_https_context = ssl._create_unverified_context
 print("Access to success.")

#IP池
#IP来源:
# http://www.xicidaili.com/
# https://www.kuaidaili.com/free/
def randomIP():
 ip = random.choice(['120.78.78.141', '122.72.18.35', '120.92.119.229'])
 return ip

#User-Agent
#User-Agent来源:http://www.useragentstring.com/pages/useragentstring.php
def randomUserAgent():
 UserAgent = random.choice(['Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36',
        'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36',
        'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.0 Safari/537.36'])
 return UserAgent

if __name__ == '__main__':
 for i in range(10):
  ip = randomIP()
  agent = randomUserAgent()
  openUrl(ip, agent)
  time.sleep(1)

补充拓展:Python模拟浏览器实现网页访问方式

模拟浏览器请求数据:

import socket

# 创建TCP链接
tcp_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# DNS 解析和链接HTTP服务器
tcp_socket.connect(("www.qq.com", 80))

# 编写请求头, 发送HTTP请求报文
# 请求行
request_line = "GET / HTTP/1.1\r\n"
# 请求头,设置请求域名
request_header = "www.qq.com\r\n"
request_data = request_line + request_header + "\r\n"

# 发送请求
tcp_socket.send(request_data.encode("utf-8"))
# 接收响应报文,指定长度
response_data = tcp_socket.recv(4096)
# 对响应报文进行解析 --切割
response_str_data = response_data.decode("utf-8")
print(response_data)
# "\r\n\r\n" 之后的数据就是响应体数据
index = response_str_data.find("\r\n\r\n")
# 切割出的数据就是文件数据
html_data = response_str_data[index+4:]
# 在当前路径下新建文件存储响应数据
with open("index.html", "wb") as file:
 file.write(html_data.encode())
# 关闭套接字
tcp_socket.close()

以上这篇Python实现自动访问网页的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 输出一个两行字符的变量
Feb 05 Python
Python三元运算实现方法
Jan 12 Python
python3实现短网址和数字相互转换的方法
Apr 28 Python
Python求导数的方法
May 09 Python
Python读取英文文件并记录每个单词出现次数后降序输出示例
Jun 28 Python
pycharm debug功能实现跳到循环末尾的方法
Nov 29 Python
利用OpenCV和Python实现查找图片差异
Dec 19 Python
Python嵌套函数,作用域与偏函数用法实例分析
Dec 26 Python
Pytoch之torchvision.transforms图像变换实例
Dec 30 Python
Python图像识别+KNN求解数独的实现
Nov 13 Python
一小时学会TensorFlow2之基本操作2实例代码
Sep 04 Python
Python中字符串对象语法分享
Feb 24 Python
解决Python pip 自动更新升级失败的问题
Feb 21 #Python
python利用百度云接口实现车牌识别的示例
Feb 21 #Python
在python3中实现更新界面
Feb 21 #Python
Python要如何实现列表排序的几种方法
Feb 21 #Python
python用WxPython库实现无边框窗体和透明窗体实现方法详解
Feb 21 #Python
使用Python打造一款间谍程序的流程分析
Feb 21 #Python
python实现堆排序的实例讲解
Feb 21 #Python
You might like
php 生成饼图 三维饼图
2009/09/28 PHP
PHP 生成N个不重复的随机数
2015/01/21 PHP
javascript 动态添加表格行
2006/06/22 Javascript
JS将表单导出成EXCEL的实例代码
2013/11/11 Javascript
js在输入框屏蔽按键,只能键入数字的示例代码
2014/01/03 Javascript
jQuery中addClass()方法用法实例
2015/01/05 Javascript
JS实现文字链接感应鼠标淡入淡出改变颜色的方法
2015/02/26 Javascript
JavaScript函数的调用以及参数传递
2015/10/21 Javascript
jQuery form插件之ajaxForm()和ajaxSubmit()的可选参数项对象
2016/01/23 Javascript
AngularJs入门教程之环境搭建+创建应用示例
2016/11/01 Javascript
详解JavaScript的闭包、IIFE、apply、函数与对象
2016/12/21 Javascript
URL中“#” “?” &“”号的作用浅析
2017/02/04 Javascript
Vue2.0用户权限控制解决方案的示例
2018/02/10 Javascript
微信小程序实现点赞、取消点赞功能
2018/11/02 Javascript
javascript实现弹幕墙效果
2019/11/28 Javascript
Vue computed 计算属性代码实例
2020/04/22 Javascript
[04:03]DOTA2肉山黑名单梦之声 风暴之灵中文配音鉴赏
2013/07/03 DOTA
[39:21]LGD vs OG 2019国际邀请赛淘汰赛 胜者组 BO3 第二场 8.24
2019/09/10 DOTA
python实现2048小游戏
2015/03/30 Python
python开发之str.format()用法实例分析
2016/02/22 Python
异步任务队列Celery在Django中的使用方法
2018/06/07 Python
python定向爬虫校园论坛帖子信息
2018/07/23 Python
Python 中判断列表是否为空的方法
2019/11/24 Python
python继承threading.Thread实现有返回值的子类实例
2020/05/02 Python
class类在python中获取金融数据的实例方法
2020/12/10 Python
世界上最全面的汽车零部件和配件集合:JC Whitney
2016/09/04 全球购物
在C语言中"指针和数组等价"到底是什么意思?
2014/03/24 面试题
vue 中 get / delete 传递数组参数方法
2021/03/23 Vue.js
主管职责范文
2013/11/09 职场文书
热爱祖国的演讲稿
2014/05/04 职场文书
民族学专业大学生职业规划范文:清晰未来的构想
2014/09/20 职场文书
群众路线教育实践活动剖析材料
2014/09/30 职场文书
投标承诺函格式
2015/01/21 职场文书
创业计划书之淘宝网店
2019/10/08 职场文书
JS如何实现基于websocket的多端桥接平台
2021/05/14 Javascript
Python 装饰器(decorator)常用的创建方式及解析
2022/04/24 Python