Python3.4编程实现简单抓取爬虫功能示例


Posted in Python onSeptember 14, 2017

本文实例讲述了Python3.4编程实现简单抓取爬虫功能。分享给大家供大家参考,具体如下:

import urllib.request
import urllib.parse
import re
import urllib.request,urllib.parse,http.cookiejar
import time
def getHtml(url):
  cj=http.cookiejar.CookieJar()
  opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
  opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie','4564564564564564565646540')]
  urllib.request.install_opener(opener)
  page = urllib.request.urlopen(url)
  html = page.read()
  return html
#print ( html)
#html = getHtml("http://weibo.com/")
def getimg(html):
  html = html.decode('utf-8')
  reg='"screen_name":"(.*?)"'
  imgre = re.compile(reg)
  src=re.findall(imgre,html)
  return src
#print ("",getimg(html))
uid=['2808675432','3888405676','2628551531','2808587400']
for a in list(uid):
  print (getimg(getHtml("http://weibo.com/"+a)))
  time.sleep(1)

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
利用Python的Django框架中的ORM建立查询API
Apr 20 Python
用python写一个windows下的定时关机脚本(推荐)
Mar 21 Python
Python操作csv文件实例详解
Jul 31 Python
在Python中执行系统命令的方法示例详解
Sep 14 Python
python中requests和https使用简单示例
Jan 18 Python
使用memory_profiler监测python代码运行时内存消耗方法
Dec 03 Python
详解Python列表赋值复制深拷贝及5种浅拷贝
May 15 Python
如何使用pyinstaller打包32位的exe程序
May 26 Python
python实现京东订单推送到测试环境,提供便利操作示例
Aug 09 Python
python异常处理之try finally不报错的原因
May 18 Python
python使用QQ邮箱实现自动发送邮件
Jun 22 Python
基于tensorflow __init__、build 和call的使用小结
Feb 26 Python
python实现八大排序算法(1)
Sep 14 #Python
python实现简单聊天应用 python群聊和点对点均实现
Sep 14 #Python
Python实现购物系统(示例讲解)
Sep 13 #Python
python模块之sys模块和序列化模块(实例讲解)
Sep 13 #Python
python模块之time模块(实例讲解)
Sep 13 #Python
python difflib模块示例讲解
Sep 13 #Python
Python网络编程 Python套接字编程
Sep 13 #Python
You might like
非洲第一个咖啡超凡杯大赛承办国—卢旺达的咖啡怎么样
2021/03/03 咖啡文化
Google Voice 短信发送接口PHP开源版(2010.5更新)
2010/07/22 PHP
PHP中命名空间的使用例子
2019/03/22 PHP
PHP快速排序算法实现的原理及代码详解
2019/04/03 PHP
PHP pthreads v3使用中的一些坑和注意点分析
2020/02/21 PHP
JS setCapture 区域外事件捕捉
2010/03/18 Javascript
jquery实现文本框鼠标右击无效以及不能输入的代码
2010/11/05 Javascript
jquery中使用ajax获取远程页面信息
2011/11/13 Javascript
JavaScript 判断用户输入的邮箱及手机格式是否正确
2013/12/08 Javascript
jQuery文件上传插件Uploadify使用指南
2014/06/05 Javascript
jquery datatable后台封装数据示例代码
2014/08/07 Javascript
JavaScript中的Truthy和Falsy介绍
2015/01/01 Javascript
jQuery蓝色风格滑动导航栏代码分享
2015/08/19 Javascript
深入理解jquery自定义动画animate()
2016/05/24 Javascript
XMLHttpRequest Level 2 使用指南
2016/08/26 Javascript
javascript 中的console.log和弹出窗口alert
2016/08/30 Javascript
nodejs6下使用koa2框架实例
2017/05/18 NodeJs
Angular6笔记之封装http的示例代码
2018/07/27 Javascript
angular 数据绑定之[]和{{}}的区别
2018/09/25 Javascript
小程序跳转到的H5页面再跳转回跳小程序的方法
2020/03/06 Javascript
JS中准确判断变量类型的方法
2020/06/01 Javascript
[01:33]PWL开团时刻DAY2-开雾与反开雾
2020/10/31 DOTA
python使用rsa加密算法模块模拟新浪微博登录
2014/01/22 Python
浅谈python中的实例方法、类方法和静态方法
2017/02/17 Python
Python编程之event对象的用法实例分析
2017/03/23 Python
Python实现购物车购物小程序
2018/04/18 Python
python实现自主查询实时天气
2018/06/22 Python
kafka-python批量发送数据的实例
2018/12/27 Python
如何解决cmd运行python提示不是内部命令
2020/07/01 Python
如何使用 Flask 做一个评论系统
2020/11/27 Python
优秀通讯员事迹材料
2014/01/28 职场文书
学校创先争优活动总结
2014/08/28 职场文书
工作失职造成投诉的检讨书范文
2014/10/05 职场文书
党员承诺书格式范文
2015/04/28 职场文书
开天辟地观后感
2015/06/09 职场文书
Docker与K8s关系介绍不会Docker也可以使用K8s
2022/06/25 Servers