Python使用正则表达式获取网页中所需要的信息


Posted in Python onJanuary 29, 2018

使用正则表达式的几个步骤:

1、用import re 导入正则表达式模块;

2、用re.compile()函数创建一个Regex对象;

3、用Regex对象的search()或findall()方法,传入想要查找的字符串,返回一个Match对象;

4、调用Match对象的group()方法,返回匹配到的字符串。

在交互式环境中简单尝试一下,查询字符串中的固话:

import re
 text = '小明家的固话是0755-123456,而小丽家的固话时0789-654321,小王家的电话是123456789'#用于检测的字符串
 ph_re = re.compile(r'\d{4}?-\d+') #创建Regex对象,匹配几种电话的方式,\d表示0-9的数字,{4}表示前面的匹配4次,?表示可选,+表示出现1次或多次。
 matchs1 = ph_re.findall(text) #findall()表示查找所有匹配项,返回一个字符串
 matchs2 = ph_re.search(text)#search(),查找第一次匹配的文本,返回一个对象。
 print(matchs1)
 print(matchs2)
 matchs2.group()

返回的结果,是这样的:

findall()方法返回的是一个字符串,可以直接打印出来。而search()方法返回的是一个对象,所以打印出来的是是如图的第二行。

调用group(),对象返回匹配的结果。

最后,小王的电话之所以没有匹配到,是因为'-'没有进行可选即在其后加上‘?'。

下面进行一个小的实验,获取某个网页中所有的http/https网址,并计算有多少个。

首先是获取HTML文件。这里要用到requests模块。

# -*- coding: utf-8 -*-
 import requests
 import re
 def get_html(url):
  res = requests.get(url)
  res.encoding = 'utf-8'
  html = res.text
  return html

这里get_html函数返回的,其实就类似上面例子中的text,用来匹配的文本。

然后,创建正则表达式:

def get_addr(response):
  addr_regex = re.compile(r'''(
   (http://|https://)?#http/https
   (www)?
   (\.[a-z1-9A-Z]+)
   (\.com|\.cn)
   )''',re.VERBOSE)#匹配网址,
  matchs = []
  for groups in addr_regex.findall(response):
   matchs.append(groups[0])
  if len(matchs) == 0:
   print('没有网址')  
  return matchs

这里向re.compile(),传入变量re.VERBOSE,作为第二个参数,可以将正则表达式放在多行,并进行注释,如上。

返回一个matchs列表对象。

再来个启动函数。

def start():
  url = 'http://news.163.com/18/0127/18/D966K4CO0001899N.html'
  a = get_html(url)
  b = get_addr(a)
  print('\n'.join(b))
  print(str(len(b)))
  print('ok')
if __name__ == '__main__':
  start()

这里传入的url是我随意找的一个新闻链接。

然后调用get_html()get_addr(),就得到了想要的东西。str(len(b)),为统计的数量。

测试的结果是类似这样的:

这里似乎获取一些URL,没什么卵用。。。但是,如果结合前面的查询新闻列表的方式,获取批量url,

而创建的正则是xxx.jpg,然后调用os模块,os.mkdir(folder)、os.chdir(folder),将获取到的匹配结果写入文件,放入某个文件夹。

那么就可以实现,从某些网站上批量获取jpg图片,然后存入某个文件夹的爬虫功能。实测,可行!

总结

以上所述是小编给大家介绍的Python使用正则获取网页中所需要的信息,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Win7上搭建Cocos2d-x 3.1.1开发环境
Jul 03 Python
Python单链表的简单实现方法
Sep 23 Python
Python实现命令行通讯录实例教程
Aug 18 Python
python 实现矩阵上下/左右翻转,转置的示例
Jan 23 Python
selenium+python自动化测试之多窗口切换
Jan 23 Python
python画图——实现在图上标注上具体数值的方法
Jul 08 Python
Python数据分析模块pandas用法详解
Sep 04 Python
Python3如何在Windows和Linux上打包
Feb 25 Python
PyQt5+python3+pycharm开发环境配置教程
Mar 24 Python
python:HDF和CSV存储优劣对比分析
Jun 08 Python
python合并多个excel文件的示例
Sep 23 Python
详解vscode实现远程linux服务器上Python开发
Nov 10 Python
python实现K最近邻算法
Jan 29 #Python
python简单实现操作Mysql数据库
Jan 29 #Python
Django框架教程之正则表达式URL误区详解
Jan 28 #Python
python通过百度地图API获取某地址的经纬度详解
Jan 28 #Python
python中的随机函数小结
Jan 27 #Python
python中的随机函数random的用法示例
Jan 27 #Python
Python闭包之返回函数的函数用法示例
Jan 27 #Python
You might like
落伍首发 php+mysql 采用ajax技术的 省 市 地 3级联动无刷新菜单 源码
2006/12/16 PHP
php 不同编码下的字符串长度区分
2009/09/26 PHP
将FCKeditor导入PHP+SMARTY的实现方法
2015/01/15 PHP
Yii CGridView用法实例详解
2016/07/12 PHP
php四种定界符详解
2017/02/16 PHP
使用laravel和ajax实现整个页面无刷新的操作方法
2019/10/03 PHP
php实现微信小程序授权登录功能(实现流程)
2019/11/13 PHP
js实时监听文本框状态的方法
2011/04/26 Javascript
这些年、我收集的JQuery代码小结
2012/08/01 Javascript
getComputedStyle与currentStyle获取样式(style/class)
2013/03/19 Javascript
浏览器打开层自动缓慢展开收缩实例代码
2013/07/04 Javascript
做好七件事帮你提升jQuery的性能
2014/02/06 Javascript
自写的jQuery异步加载数据添加事件
2014/05/15 Javascript
JS的location.href跳出框架打开新页面的方法
2014/09/04 Javascript
如何使用HTML5地理位置定位功能
2015/04/27 Javascript
jQuery手指滑动轮播效果
2016/12/22 Javascript
jQuery实现简单的抽奖游戏
2017/05/05 jQuery
详解Vue微信公众号开发踩坑全记录
2017/08/21 Javascript
基于vue中对鼠标划过事件的处理方式详解
2018/08/22 Javascript
vue+moment实现倒计时效果
2019/08/26 Javascript
layui使用templet格式化表格数据的方法
2019/09/16 Javascript
vue中实现动态生成二维码的方法
2020/02/21 Javascript
[01:27:43]VGJ.S vs TNC Supermajor 败者组 BO3 第三场 6.6
2018/06/07 DOTA
Python转换HTML到Text纯文本的方法
2015/01/15 Python
Python发送form-data请求及拼接form-data内容的方法
2016/03/05 Python
Python中的并发处理之asyncio包使用的详解
2018/04/03 Python
python基于爬虫+django,打造个性化API接口
2021/01/21 Python
LN-CC英国:伦敦时尚生活的缩影
2019/09/01 全球购物
数据库连接池的工作原理
2012/09/26 面试题
饭店工作计划书
2014/01/10 职场文书
田径运动会开幕式及主持词
2014/03/28 职场文书
反邪教警示教育方案
2014/05/13 职场文书
教师党员个人剖析材料
2014/09/29 职场文书
二年级学生期末评语
2014/12/26 职场文书
2015年销售内勤工作总结
2015/04/27 职场文书
新闻稿件写作范文
2015/07/18 职场文书