python获取整个网页源码的方法


Posted in Python onAugust 03, 2020

1、Python中获取整个页面的代码:

import requests
res = requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')
res.encoding = 'utf-8'
print(res.text)

2、运行结果

python获取整个网页源码的方法

实例扩展:

from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
 websiteurl=url
 t=time.time()
 n=0
 html=urllib2.urlopen(websiteurl).read()
 soup=BeautifulSoup(html)
 pageurls=[]
 Upageurls={}
 pageurls=soup.find_all("a",href=True)
 for links in pageurls:
  if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
   Upageurls[links.get("href")]=0
 for links in Upageurls.keys():
  try:
   urllib2.urlopen(links).getcode()
  except:
   print "connect failed"
  else:
   t2=time.time()
   Upageurls[links]=urllib2.urlopen(links).getcode()
   print n,
   print links,
   print Upageurls[links]
   t1=time.time()
   print t1-t2
  n+=1
 print ("total is "+repr(n)+" links")
 print time.time()-t
scanpage(http://news.163.com/)

到此这篇关于python获取整个网页源码的方法的文章就介绍到这了,更多相关python如何获取整个页面内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python解析中国天气网的天气数据
Mar 21 Python
Python实现简易端口扫描器代码实例
Mar 15 Python
python之PyMongo使用总结
May 26 Python
Python高级用法总结
May 26 Python
Python嵌套列表转一维的方法(压平嵌套列表)
Jul 03 Python
详解Python 解压缩文件
Apr 09 Python
如何用Python制作微信好友个性签名词云图
Jun 28 Python
Python字符串对象实现原理详解
Jul 01 Python
Python使用Excel将数据写入多个sheet
May 16 Python
一行代码python实现文件共享服务器
Apr 22 Python
python 中[0]*2与0*2的区别说明
May 10 Python
PyTorch 实现L2正则化以及Dropout的操作
May 27 Python
flask开启多线程的具体方法
Aug 02 #Python
基于opencv实现简单画板功能
Aug 02 #Python
django下创建多个app并设置urls方法
Aug 02 #Python
Django如何在不停机的情况下创建索引
Aug 02 #Python
如何用Anaconda搭建虚拟环境并创建Django项目
Aug 02 #Python
如何解决flask修改静态资源后缓存文件不能及时更改问题
Aug 02 #Python
Flask缓存静态文件的具体方法
Aug 02 #Python
You might like
索尼ICF-SW100收音机评测
2021/03/02 无线电
windows下的WAMP环境搭建图文教程(推荐)
2017/07/27 PHP
javascript iframe中打开文件,并检测iframe存在否
2008/12/28 Javascript
精选的10款用于构建良好易用性网站的jQuery插件
2011/01/23 Javascript
jquery获取html元素的绝对位置和相对位置的方法
2014/06/20 Javascript
js查找节点的方法小结
2015/01/13 Javascript
Bootstrap组件系列之福利篇几款好用的组件(推荐)
2016/06/23 Javascript
React+react-dropzone+node.js实现图片上传的示例代码
2017/08/23 Javascript
Vue下的国际化处理方法
2017/12/18 Javascript
vue实现多个元素或多个组件之间动画效果
2018/09/25 Javascript
vue实现的网易云音乐在线播放和下载功能案例
2019/02/18 Javascript
JS实现的对象去重功能示例
2019/06/04 Javascript
快速对接payjq的个人微信支付接口过程解析
2019/08/15 Javascript
[56:48]FNATIC vs EG 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/16 DOTA
python dict 字典 以及 赋值 引用的一些实例(详解)
2017/01/20 Python
关于Python数据结构中字典的心得
2017/12/04 Python
python os用法总结
2018/06/08 Python
Python实现繁?转为简体的方法示例
2018/12/18 Python
python flask解析json数据不完整的解决方法
2019/05/26 Python
Python利用pandas处理Excel数据的应用详解
2019/06/18 Python
python实现爬取百度图片的方法示例
2019/07/06 Python
pandas 时间格式转换的实现
2019/07/06 Python
Python-copy()与deepcopy()区别详解
2019/07/12 Python
django Admin文档生成器使用详解
2019/07/22 Python
python cumsum函数的具体使用
2019/07/29 Python
在pytorch中实现只让指定变量向后传播梯度
2020/02/29 Python
使用PyCharm官方中文语言包汉化PyCharm
2020/11/18 Python
详解Python Celery和RabbitMQ实战教程
2021/01/20 Python
Hawes & Curtis澳大利亚官网:英国经典服饰品牌
2018/10/29 全球购物
美术专业学生个人自我评价
2013/09/19 职场文书
工商管理实习自我鉴定
2013/09/28 职场文书
劳动工资科岗位职责范本
2014/03/02 职场文书
个人工作主要事迹
2014/05/08 职场文书
2015年实习班主任工作总结
2015/04/23 职场文书
学校教师师德师风承诺书
2015/04/28 职场文书
新教师教学工作总结
2015/08/12 职场文书