编程 Python

python3爬虫获取html内容及各属性值的方法

Posted in Python onDecember 17, 2018

今天用到BeautifulSoup解析爬下来的网页数据

首先导入包from bs4 import BeautifulSoup

然后可以利用urllib请求数据

记得要导包

import urllib.request

然后调用urlopen，读取数据

f=urllib.request.urlopen(‘http://jingyan.baidu.com/article/455a9950bc94b8a166277898.html‘) 
response=f.read()

这里我们就不请求数据了，直接用本地的html代码，如下

注意：”'xxx”'是多行注释

#python3
from bs4 import BeautifulSoup
html='''<html>
<head>
 <title class='ceshi'>super 哈哈 star</title>
</head>
<body>
 天下第一帅
 <p class='sister'>

  是不是
 </p>
</body>
</html>'''
#用BeautifulSoup解析数据 python3 必须传入参数二'html.parser' 得到一个对象，接下来获取对象的相关属性
html=BeautifulSoup(html,'html.parser')
# 读取title内容
print(html.title)
# 读取title属性
attrs=html.title.attrs
print(attrs)
# 获取属性attrs['class'] ---->['ceshi'] 这是一个list 通过下标可以获取值
print(attrs['class'][0])
# 读取body
print(html.body)
读取数据还可以通过BeautifulSoup的select方法
html.select()
#按标签名查找 
soup.select('title')
soup.select('body')
# 按类名查找
soup.select('.sister')
# 按id名查找
# p标签中id为link的标签
soup.select('p #link')
#取标签里面的值
soup.p.string
#取标签里属性值 通过href获取
html['href']

以上这篇python3爬虫获取html内容及各属性值的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持三水点靠木。

python3爬虫获取html内容及各属性值的方法

- Author -

android-李志强

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐

python中尾递归用法实例详解

Apr 28 Python

python更新列表的方法

Jul 28 Python

Python中列表list以及list与数组array的相互转换实现方法

Sep 22 Python

Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法

Jan 11 Python

flask中的wtforms使用方法

Jul 21 Python

PyQt5图形界面播放音乐的实例

Jun 17 Python

如何通过50行Python代码获取公众号全部文章

Jul 12 Python

python批量读取文件名并写入txt文件中

Sep 05 Python

python字符串的拼接方法总结

Nov 18 Python

在django中使用post方法时,需要增加csrftoken的例子

Mar 13 Python

Python 没有main函数的原因

Jul 10 Python

如何使用python socket模块实现简单的文件下载

Sep 04 Python

解决Python中list里的中文输出到html模板里的问题

Dec 17 #Python

python实现三次样条插值

Dec 17 #Python

Python命名空间的本质和加载顺序

Dec 17 #Python

对python的unittest架构公共参数token提取方法详解

Dec 17 #Python

Python单元测试unittest的具体使用示例

Dec 17 #Python

Python使用Selenium爬取淘宝异步加载的数据方法

Dec 17 #Python

在scrapy中使用phantomJS实现异步爬取的方法

Dec 17 #Python