python获取整个网页源码的方法


Posted in Python onAugust 03, 2020

1、Python中获取整个页面的代码:

import requests
res = requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')
res.encoding = 'utf-8'
print(res.text)

2、运行结果

python获取整个网页源码的方法

实例扩展:

from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
 websiteurl=url
 t=time.time()
 n=0
 html=urllib2.urlopen(websiteurl).read()
 soup=BeautifulSoup(html)
 pageurls=[]
 Upageurls={}
 pageurls=soup.find_all("a",href=True)
 for links in pageurls:
  if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
   Upageurls[links.get("href")]=0
 for links in Upageurls.keys():
  try:
   urllib2.urlopen(links).getcode()
  except:
   print "connect failed"
  else:
   t2=time.time()
   Upageurls[links]=urllib2.urlopen(links).getcode()
   print n,
   print links,
   print Upageurls[links]
   t1=time.time()
   print t1-t2
  n+=1
 print ("total is "+repr(n)+" links")
 print time.time()-t
scanpage(http://news.163.com/)

到此这篇关于python获取整个网页源码的方法的文章就介绍到这了,更多相关python如何获取整个页面内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python的几种开发工具介绍
Mar 07 Python
python读写ini文件示例(python读写文件)
Mar 25 Python
Python通过90行代码搭建一个音乐搜索工具
Jul 29 Python
深入解析Python编程中super关键字的用法
Jun 24 Python
python实现汉诺塔方法汇总
Jul 25 Python
利用Python如何生成hash值示例详解
Dec 20 Python
详解Django中类视图使用装饰器的方式
Aug 12 Python
详解pandas安装若干异常及解决方案总结
Jan 10 Python
Python多线程处理实例详解【单进程/多进程】
Jan 30 Python
详解PyCharm+QTDesigner+PyUIC使用教程
Jun 13 Python
selenium2.0中常用的python函数汇总
Aug 05 Python
Python偏函数实现原理及应用
Nov 20 Python
flask开启多线程的具体方法
Aug 02 #Python
基于opencv实现简单画板功能
Aug 02 #Python
django下创建多个app并设置urls方法
Aug 02 #Python
Django如何在不停机的情况下创建索引
Aug 02 #Python
如何用Anaconda搭建虚拟环境并创建Django项目
Aug 02 #Python
如何解决flask修改静态资源后缓存文件不能及时更改问题
Aug 02 #Python
Flask缓存静态文件的具体方法
Aug 02 #Python
You might like
关于mysql 字段的那个点为是定界符
2007/01/15 PHP
php AJAX实例根据邮编自动完成地址信息
2008/11/23 PHP
PHP关于htmlspecialchars、strip_tags、addslashes的解释
2014/07/04 PHP
yii实现CheckBox复选框在同一行显示的方法
2014/12/03 PHP
WordPress中编写自定义存储字段的相关PHP函数解析
2015/12/25 PHP
PHP控制反转(IOC)和依赖注入(DI)
2017/03/13 PHP
visual studio code 调试php方法(图文详解)
2017/09/15 PHP
使用JavaScript动态设置样式实现代码及演示动画
2013/01/25 Javascript
探讨js中的双感叹号判断
2013/11/11 Javascript
常见表单重复提交问题整理及解决方法
2013/11/13 Javascript
jQuery操作元素css样式的三种方法
2014/06/04 Javascript
分享33个jQuery与CSS3实现的绚丽鼠标悬停效果
2014/12/15 Javascript
javascript实现图像循环明暗变化的方法
2015/02/25 Javascript
js获取鼠标点击的对象,点击另一个按钮删除该对象的实现代码
2016/05/13 Javascript
详解Js中的模块化是如何实现的
2017/10/18 Javascript
Angular 开发学习之Angular CLI的安装使用
2017/12/31 Javascript
Webpack中publicPath路径问题详解
2018/05/03 Javascript
vue实现瀑布流组件滑动加载更多
2020/03/10 Javascript
Python 爬虫爬取指定博客的所有文章
2016/02/17 Python
python3.4下django集成使用xadmin后台的方法
2017/08/15 Python
python实现基于SVM手写数字识别功能
2020/05/27 Python
Python简直是万能的,这5大主要用途你一定要知道!(推荐)
2019/04/03 Python
用python实现英文字母和相应序数转换的方法
2019/09/18 Python
美国家用电器和电子产品商店:Abt
2016/09/06 全球购物
澳大利亚购买最佳炊具品牌网站:Cookware Brands
2019/02/16 全球购物
工程部经理岗位职责
2013/12/08 职场文书
拓展培训心得体会
2014/01/04 职场文书
师德个人剖析材料
2014/02/02 职场文书
初中班主任评语
2014/04/24 职场文书
应届生自荐书
2014/06/23 职场文书
房地产销售主管岗位职责
2015/02/13 职场文书
2015年语文教学工作总结
2015/05/25 职场文书
Go语言-为什么返回值为接口类型,却返回结构体
2021/04/24 Golang
html实现弹窗的实例
2021/06/09 HTML / CSS
Opencv中cv2.floodFill算法的使用
2021/06/18 Python
关于springboot配置druid数据源不生效问题(踩坑记)
2021/09/25 Java/Android