Python3.4编程实现简单抓取爬虫功能示例


Posted in Python onSeptember 14, 2017

本文实例讲述了Python3.4编程实现简单抓取爬虫功能。分享给大家供大家参考,具体如下:

import urllib.request
import urllib.parse
import re
import urllib.request,urllib.parse,http.cookiejar
import time
def getHtml(url):
  cj=http.cookiejar.CookieJar()
  opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
  opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie','4564564564564564565646540')]
  urllib.request.install_opener(opener)
  page = urllib.request.urlopen(url)
  html = page.read()
  return html
#print ( html)
#html = getHtml("http://weibo.com/")
def getimg(html):
  html = html.decode('utf-8')
  reg='"screen_name":"(.*?)"'
  imgre = re.compile(reg)
  src=re.findall(imgre,html)
  return src
#print ("",getimg(html))
uid=['2808675432','3888405676','2628551531','2808587400']
for a in list(uid):
  print (getimg(getHtml("http://weibo.com/"+a)))
  time.sleep(1)

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python的高级Git库 Gittle
Sep 22 Python
Python随机生成均匀分布在单位圆内的点代码示例
Nov 13 Python
Python中eval带来的潜在风险代码分析
Dec 11 Python
Django使用httpresponse返回用户头像实例代码
Jan 26 Python
使用50行Python代码从零开始实现一个AI平衡小游戏
Nov 21 Python
对python 多线程中的守护线程与join的用法详解
Feb 18 Python
python 命令行传入参数实现解析
Aug 30 Python
python 计算概率密度、累计分布、逆函数的例子
Feb 25 Python
python3 配置logging日志类的操作
Apr 08 Python
查看keras各种网络结构各层的名字方式
Jun 11 Python
使用python实现名片管理系统
Jun 18 Python
Python pyecharts绘制条形图详解
Apr 02 Python
python实现八大排序算法(1)
Sep 14 #Python
python实现简单聊天应用 python群聊和点对点均实现
Sep 14 #Python
Python实现购物系统(示例讲解)
Sep 13 #Python
python模块之sys模块和序列化模块(实例讲解)
Sep 13 #Python
python模块之time模块(实例讲解)
Sep 13 #Python
python difflib模块示例讲解
Sep 13 #Python
Python网络编程 Python套接字编程
Sep 13 #Python
You might like
全面解析PHP验证码的实现原理 附php验证码小案例
2016/08/17 PHP
thinkPHP中_initialize方法实例分析
2016/12/05 PHP
php实现保存周期为1天的购物车类
2017/07/07 PHP
JavaScript 给汉字排序实例代码
2008/06/28 Javascript
用Javascript评估用户输入密码的强度实现代码
2011/11/30 Javascript
Json对象与Json字符串互转(4种转换方式)
2013/03/27 Javascript
提取字符串中年月日的函数代码
2013/11/05 Javascript
jQuery中用dom操作替代正则表达式
2014/12/29 Javascript
JS实现让网页背景图片斜向移动的方法
2015/02/25 Javascript
JavaScript 实现完美兼容多浏览器的复制功能代码
2015/04/28 Javascript
jquery实现简易的移动端验证表单
2015/11/08 Javascript
js实现的星星评分功能函数
2015/12/09 Javascript
js操作XML文件的实现方法兼容IE与FireFox
2016/06/25 Javascript
利用jQuery实现滑动开关按钮效果(附demo源码下载)
2017/02/07 Javascript
vue2 mint-ui loadmore实现下拉刷新,上拉更多功能
2018/03/21 Javascript
深入Node TCP模块的理解
2019/03/13 Javascript
vue项目中引入Sass实例方法
2019/08/27 Javascript
Vue项目打包部署到iis服务器的配置方法
2019/10/14 Javascript
微信小程序整个页面的自动适应布局的实现
2020/07/12 Javascript
用Python操作字符串之rindex()方法的使用
2015/05/19 Python
通过Python来使用七牛云存储的方法详解
2015/08/07 Python
Python模拟登陆淘宝并统计淘宝消费情况的代码实例分享
2016/07/04 Python
python实现简单爬虫功能的示例
2016/10/24 Python
pycharm 在windows上编辑代码用linux执行配置的方法
2018/10/27 Python
Python3安装psycopy2以及遇到问题解决方法
2019/07/03 Python
Django实现WebSSH操作物理机或虚拟机的方法
2019/11/06 Python
解决运行出现'dict' object has no attribute 'has_key'问题
2020/07/15 Python
CSS3中background-clip和background-origin的区别示例介绍
2014/03/10 HTML / CSS
优秀女职工事迹材料
2014/02/06 职场文书
婚纱摄影师求职信范文
2014/04/17 职场文书
人力资源职位说明书
2014/07/29 职场文书
二胎满月酒致辞
2015/07/29 职场文书
民间借贷纠纷答辩状
2015/08/03 职场文书
请学会珍惜眼前,因为人生没有下辈子!
2019/11/12 职场文书
Python基础详解之邮件处理
2021/04/28 Python
python中pandas对多列进行分组统计的实现
2021/06/18 Python