python获取整个网页源码的方法


Posted in Python onAugust 03, 2020

1、Python中获取整个页面的代码:

import requests
res = requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')
res.encoding = 'utf-8'
print(res.text)

2、运行结果

python获取整个网页源码的方法

实例扩展:

from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
 websiteurl=url
 t=time.time()
 n=0
 html=urllib2.urlopen(websiteurl).read()
 soup=BeautifulSoup(html)
 pageurls=[]
 Upageurls={}
 pageurls=soup.find_all("a",href=True)
 for links in pageurls:
  if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
   Upageurls[links.get("href")]=0
 for links in Upageurls.keys():
  try:
   urllib2.urlopen(links).getcode()
  except:
   print "connect failed"
  else:
   t2=time.time()
   Upageurls[links]=urllib2.urlopen(links).getcode()
   print n,
   print links,
   print Upageurls[links]
   t1=time.time()
   print t1-t2
  n+=1
 print ("total is "+repr(n)+" links")
 print time.time()-t
scanpage(http://news.163.com/)

到此这篇关于python获取整个网页源码的方法的文章就介绍到这了,更多相关python如何获取整个页面内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python写的Socks5协议代理服务器
Aug 06 Python
Python找出9个连续的空闲端口
Feb 01 Python
python遍历目录的方法小结
Apr 28 Python
python实现flappy bird游戏
Dec 24 Python
在Python 字典中一键对应多个值的实例
Feb 03 Python
python实现二级登陆菜单及安装过程
Jun 21 Python
pandas 数据索引与选取的实现方法
Jun 21 Python
Python实现字符串中某个字母的替代功能
Oct 21 Python
pytorch三层全连接层实现手写字母识别方式
Jan 14 Python
Python爬虫实现HTTP网络请求多种实现方式
Jun 19 Python
Python __slots__的使用方法
Nov 15 Python
搭建pypi私有仓库实现过程详解
Nov 25 Python
flask开启多线程的具体方法
Aug 02 #Python
基于opencv实现简单画板功能
Aug 02 #Python
django下创建多个app并设置urls方法
Aug 02 #Python
Django如何在不停机的情况下创建索引
Aug 02 #Python
如何用Anaconda搭建虚拟环境并创建Django项目
Aug 02 #Python
如何解决flask修改静态资源后缓存文件不能及时更改问题
Aug 02 #Python
Flask缓存静态文件的具体方法
Aug 02 #Python
You might like
php自动加载机制的深入分析
2013/06/08 PHP
php无限极分类递归排序实现方法
2014/11/11 PHP
php使用Cookie实现和用户会话的方法
2015/01/21 PHP
php抽象类用法实例分析
2015/07/07 PHP
基于thinkPHP实现的微信自定义分享功能示例
2016/09/23 PHP
PHP大文件分割上传 PHP分片上传
2017/08/28 PHP
PHP封装的非对称加密RSA算法示例
2018/05/28 PHP
jquery 入门教程 [翻译] 推荐
2009/08/17 Javascript
JQuery SELECT单选模拟jQuery.select.js
2009/11/12 Javascript
jQuery中fadeIn、fadeOut、fadeTo的使用方法(图片显示与隐藏)
2013/05/08 Javascript
使用jquery实现的一个图片延迟加载插件(含图片延迟加载原理)
2014/06/05 Javascript
jQuery学习笔记之toArray()
2014/06/09 Javascript
深入探寻seajs的模块化与加载方式
2015/04/14 Javascript
纯js模仿windows系统日历
2017/02/04 Javascript
vue动态组件实现选项卡切换效果
2017/03/08 Javascript
node文字生成图片的示例代码
2017/10/26 Javascript
解决webpack+Vue引入iView找不到字体文件的问题
2018/09/28 Javascript
Vue.js 父子组件通信的十种方式
2018/10/30 Javascript
layui layer select 选择被遮挡的解决方法
2019/09/21 Javascript
vantUI 获得piker选中值的自定义ID操作
2020/11/04 Javascript
[59:07]海涛为你详解DOTA2新版本“贤哲秘契”
2014/11/22 DOTA
python使用rabbitmq实现网络爬虫示例
2014/02/20 Python
Python中的高级数据结构详解
2015/03/27 Python
python-xpath获取html文档的部分内容
2020/03/06 Python
keras 读取多标签图像数据方式
2020/06/12 Python
浅谈anaconda python 版本对应关系
2020/10/07 Python
关于PySnooper 永远不要使用print进行调试的问题
2021/03/04 Python
HTML5中的新元素介绍
2008/10/17 HTML / CSS
十佳大学生事迹材料
2014/01/29 职场文书
市场营销毕业生自荐信范文
2014/04/01 职场文书
竞选村长演讲稿
2014/04/28 职场文书
党性锻炼的心得体会
2014/09/03 职场文书
教师四风对照检查材料思想汇报
2014/09/17 职场文书
大雁塔导游词
2015/02/04 职场文书
辞职信的写法
2015/02/27 职场文书
刑事撤诉申请书
2015/05/18 职场文书