Python爬虫学习之获取指定网页源码


Posted in Python onJuly 30, 2019

本文实例为大家分享了Python获取指定网页源码的具体代码,供大家参考,具体内容如下

1、任务简介

前段时间一直在学习Python基础知识,故未更新博客,近段时间学习了一些关于爬虫的知识,我会分为多篇博客对所学知识进行更新,今天分享的是获取指定网页源码的方法,只有将网页源码抓取下来才能从中提取我们需要的数据。

2、任务代码

Python获取指定网页源码的方法较为简单,我在Java中使用了38行代码才获取了网页源码(大概是学艺不精),而Python中只用了6行就达到了效果。

Python中获取网页源码最简单的方法就是使用urllib包,具体代码如下:

import urllib.request    #导入urllib.request库
b = str(input("请输入:"))  #提示用户输入信息,并强制类型转换为字符串型
a = urllib.request.urlopen(b)#打开指定网址
html = a.read()       #读取网页源码
html = html.decode("utf-8") #解码为unicode码
print(html)         #打印网页源码

我输入的网址是我博客主页的网址https://blog.csdn.net/lsylsy726

运行结果如下:

Python爬虫学习之获取指定网页源码

3、总结

这篇博客介绍的方法较为简单,其实有的网站会“反爬虫”,这时就需要我们使用User-Agent或者代理,这些东西都会在后面的博客中进行更新,我预计在后面博客中更新“读取CSDN博客访问量的小程序”和“有道翻译小程序”及其他更难一些的知识,由于刚开始学习爬虫,水平有限,请大家多多包涵。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python基于socket实现网络广播的方法
Apr 29 Python
Windows下将Python文件打包成.EXE可执行文件的方法
Aug 03 Python
python利用跳板机ssh远程连接redis的方法
Feb 19 Python
如何利用Anaconda配置简单的Python环境
Jun 24 Python
浅析PyTorch中nn.Module的使用
Aug 18 Python
python安装virtualenv虚拟环境步骤图文详解
Sep 18 Python
python实现吃苹果小游戏
Mar 21 Python
在keras里实现自定义上采样层
Jun 28 Python
python正则表达式的懒惰匹配和贪婪匹配说明
Jul 13 Python
pandas实现导出数据的四种方式
Dec 13 Python
Python 数据可视化神器Pyecharts绘制图像练习
Feb 28 Python
再谈python_tkinter弹出对话框创建
Mar 20 Python
django-初始配置(纯手写)详解
Jul 30 #Python
django 单表操作实例详解
Jul 30 #Python
Apache部署Django项目图文详解
Jul 30 #Python
Python 使用list和tuple+条件判断详解
Jul 30 #Python
用python wxpy管理微信公众号并利用微信获取自己的开源数据
Jul 30 #Python
Python实现二叉搜索树BST的方法示例
Jul 30 #Python
django 基于中间件实现限制ip频繁访问过程详解
Jul 30 #Python
You might like
php读取torrent种子文件内容的方法(测试可用)
2016/05/03 PHP
基于JQuery的密码强度验证代码
2010/03/01 Javascript
javascript中类的定义及其方式(《javascript高级程序设计》学习笔记)
2011/07/04 Javascript
引用 js在IE与FF之间的区别详细解析
2013/11/20 Javascript
Express作者TJ告别Node.js奔向Go
2014/07/14 Javascript
JavaScript 学习笔记之操作符(续)
2015/01/14 Javascript
node.js操作mongodb学习小结
2015/04/25 Javascript
在JavaScript中使用对数Math.log()方法的教程
2015/06/15 Javascript
JavaScript实现自动消除按钮功能的方法
2015/08/05 Javascript
Nodejs如何搭建Web服务器
2016/03/28 NodeJs
浅谈Jquery中Ajax异步请求中的async参数的作用
2016/06/06 Javascript
Jquery Easyui进度条组件Progress使用详解(8)
2020/03/26 Javascript
Vue form 表单提交+ajax异步请求+分页效果
2017/04/22 Javascript
Vue中跨域及打包部署到nginx跨域设置方法
2019/08/26 Javascript
es6函数之尾调用优化实例分析
2020/04/25 Javascript
JS异步宏队列微队列原理详解
2020/09/09 Javascript
jenkins自动构建发布vue项目的方法步骤
2021/01/04 Vue.js
[02:39]DOTA2英雄基础教程 天怒法师
2013/11/29 DOTA
python3编码问题汇总
2016/09/06 Python
Python实现随机生成有效手机号码及身份证功能示例
2017/06/05 Python
利用python实现简单的邮件发送客户端示例
2017/12/23 Python
Python3获取拉勾网招聘信息的方法实例
2019/04/03 Python
基于python实现百度翻译功能
2019/05/09 Python
python判断一个对象是否可迭代的例子
2019/07/22 Python
pandas中read_csv的缺失值处理方式
2019/12/19 Python
Python实现FTP文件定时自动下载的步骤
2020/12/19 Python
Alba Moda瑞士网上商店:独家意大利时尚女装销售
2016/11/28 全球购物
eDreams巴西:廉价机票,酒店优惠和度假套餐
2017/04/14 全球购物
彪马俄罗斯官网:PUMA俄罗斯
2019/07/13 全球购物
证券期货行业个人的自我评价
2013/12/26 职场文书
先进个人获奖感言
2014/01/24 职场文书
2014基建处领导班子“四风”对照检查材料思想汇报
2014/10/04 职场文书
小学班主任经验交流材料
2014/12/16 职场文书
在职证明书模板
2015/06/15 职场文书
一篇文章带你搞懂Python类的相关知识
2021/05/20 Python
Java 死锁解决方案
2022/05/11 Java/Android