python获取整个网页源码的方法


Posted in Python onAugust 03, 2020

1、Python中获取整个页面的代码:

import requests
res = requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')
res.encoding = 'utf-8'
print(res.text)

2、运行结果

python获取整个网页源码的方法

实例扩展:

from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
 websiteurl=url
 t=time.time()
 n=0
 html=urllib2.urlopen(websiteurl).read()
 soup=BeautifulSoup(html)
 pageurls=[]
 Upageurls={}
 pageurls=soup.find_all("a",href=True)
 for links in pageurls:
  if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
   Upageurls[links.get("href")]=0
 for links in Upageurls.keys():
  try:
   urllib2.urlopen(links).getcode()
  except:
   print "connect failed"
  else:
   t2=time.time()
   Upageurls[links]=urllib2.urlopen(links).getcode()
   print n,
   print links,
   print Upageurls[links]
   t1=time.time()
   print t1-t2
  n+=1
 print ("total is "+repr(n)+" links")
 print time.time()-t
scanpage(http://news.163.com/)

到此这篇关于python获取整个网页源码的方法的文章就介绍到这了,更多相关python如何获取整个页面内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
使用python在校内发人人网状态(人人网看状态)
Feb 19 Python
学习python类方法与对象方法
Mar 15 Python
python出现"IndentationError: unexpected indent"错误解决办法
Oct 15 Python
TensorFlow Session使用的两种方法小结
Jul 30 Python
Python wxPython库使用wx.ListBox创建列表框示例
Sep 03 Python
Django利用cookie保存用户登录信息的简单实现方法
May 27 Python
python数据预处理之数据标准化的几种处理方式
Jul 17 Python
基于python实现语音录入识别代码实例
Jan 17 Python
Python 识别12306图片验证码物品的实现示例
Jan 20 Python
使用Keras建立模型并训练等一系列操作方式
Jul 02 Python
python中的split、rsplit、splitlines用法说明
Oct 23 Python
在Python 中将类对象序列化为JSON
Apr 06 Python
flask开启多线程的具体方法
Aug 02 #Python
基于opencv实现简单画板功能
Aug 02 #Python
django下创建多个app并设置urls方法
Aug 02 #Python
Django如何在不停机的情况下创建索引
Aug 02 #Python
如何用Anaconda搭建虚拟环境并创建Django项目
Aug 02 #Python
如何解决flask修改静态资源后缓存文件不能及时更改问题
Aug 02 #Python
Flask缓存静态文件的具体方法
Aug 02 #Python
You might like
PHP Session 变量的使用方法详解与实例代码
2013/09/11 PHP
php上传excel表格并获取数据
2017/04/27 PHP
PHP实现的简单路由和类自动加载功能
2018/03/13 PHP
Mootools 1.2教程 输入过滤第二部分(字符串)
2009/09/15 Javascript
5个javascript的数字格式化函数分享
2011/12/07 Javascript
JavaScript面向对象设计二 构造函数模式
2011/12/20 Javascript
jquery创建一个ajax关键词数据搜索实现思路
2013/02/26 Javascript
导航跟随滚动条置顶移动示例代码
2013/09/11 Javascript
利用原生JS自动生成文章标题树的实例
2016/08/22 Javascript
AngulaJS路由 ui-router 传参实例
2017/04/28 Javascript
JS实现把一个页面层数据传递到另一个页面的两种方式
2018/08/13 Javascript
Angular 实现输入框中显示文章标签的实例代码
2018/11/07 Javascript
Web安全之XSS攻击与防御小结
2018/12/13 Javascript
vue-router实现嵌套路由的讲解
2019/01/19 Javascript
vue组件开发props验证的实现
2019/02/12 Javascript
解决layui的使用以及针对select、radio等表单组件不显示的问题
2019/09/05 Javascript
JavaScript多种图形实现代码实例
2020/06/28 Javascript
vue中组件通信详解(父子组件, 爷孙组件, 兄弟组件)
2020/07/27 Javascript
js实现盒子滚动动画效果
2020/08/09 Javascript
[37:45]完美世界DOTA2联赛PWL S3 LBZS vs Phoenix 第二场 12.09
2020/12/11 DOTA
Python最长公共子串算法实例
2015/03/07 Python
Python中的lstrip()方法使用简介
2015/05/19 Python
python中的迭代和可迭代对象代码示例
2017/12/27 Python
基于python requests库中的代理实例讲解
2018/05/07 Python
Python实现快速计算词频功能示例
2018/06/25 Python
对python修改xml文件的节点值方法详解
2018/12/24 Python
windows下安装Python虚拟环境virtualenvwrapper-win
2019/06/14 Python
CSS3教程(1):什么是CSS3
2009/04/02 HTML / CSS
欧洲领先的技术商店:eibmarkt.com
2019/05/10 全球购物
英格兰足协官方商店:England Store
2019/07/12 全球购物
亚马逊新加坡官方网站:Amazon.sg
2020/03/25 全球购物
热能动力工程毕业生自荐信
2013/11/07 职场文书
师范生的个人求职信范文
2014/01/04 职场文书
餐厅执行经理岗位职责范本
2014/02/26 职场文书
离婚协议书范本
2015/01/26 职场文书
学校食堂食品安全承诺书
2015/04/29 职场文书