Python3.4编程实现简单抓取爬虫功能示例


Posted in Python onSeptember 14, 2017

本文实例讲述了Python3.4编程实现简单抓取爬虫功能。分享给大家供大家参考,具体如下:

import urllib.request
import urllib.parse
import re
import urllib.request,urllib.parse,http.cookiejar
import time
def getHtml(url):
  cj=http.cookiejar.CookieJar()
  opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
  opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie','4564564564564564565646540')]
  urllib.request.install_opener(opener)
  page = urllib.request.urlopen(url)
  html = page.read()
  return html
#print ( html)
#html = getHtml("http://weibo.com/")
def getimg(html):
  html = html.decode('utf-8')
  reg='"screen_name":"(.*?)"'
  imgre = re.compile(reg)
  src=re.findall(imgre,html)
  return src
#print ("",getimg(html))
uid=['2808675432','3888405676','2628551531','2808587400']
for a in list(uid):
  print (getimg(getHtml("http://weibo.com/"+a)))
  time.sleep(1)

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python优化技巧之利用ctypes提高执行速度
Sep 11 Python
Python中关键字nonlocal和global的声明与解析
Mar 12 Python
python在文本开头插入一行的实例
May 02 Python
解决pycharm py文件运行后停止按钮变成了灰色的问题
Nov 29 Python
Python设计模式之建造者模式实例详解
Jan 17 Python
python 判断矩阵中每行非零个数的方法
Jan 26 Python
python 列表转为字典的两个小方法(小结)
Jun 28 Python
Python进度条的制作代码实例
Aug 31 Python
python 控制台单行刷新,多行刷新实例
Feb 19 Python
python获取整个网页源码的方法
Aug 03 Python
pycharm永久激活超详细教程
Oct 29 Python
Window10上Tensorflow的安装(CPU和GPU版本)
Dec 15 Python
python实现八大排序算法(1)
Sep 14 #Python
python实现简单聊天应用 python群聊和点对点均实现
Sep 14 #Python
Python实现购物系统(示例讲解)
Sep 13 #Python
python模块之sys模块和序列化模块(实例讲解)
Sep 13 #Python
python模块之time模块(实例讲解)
Sep 13 #Python
python difflib模块示例讲解
Sep 13 #Python
Python网络编程 Python套接字编程
Sep 13 #Python
You might like
PHP学习资料汇总与网址
2007/03/16 PHP
PHP数组实例总结与说明
2011/08/23 PHP
php实现可以设置中奖概率的抽奖程序代码分享
2014/01/19 PHP
php检索或者复制远程文件的方法
2015/03/13 PHP
php字符串分割函数用法实例
2015/03/17 PHP
php封装单文件上传到数据库(路径)
2017/10/15 PHP
PHP 代码简洁之道(小结)
2019/10/16 PHP
php设计模式之职责链模式实例分析【星际争霸游戏案例】
2020/03/27 PHP
通过隐藏iframe实现无刷新上传文件操作
2016/03/16 Javascript
jquery仿ps颜色拾取功能
2017/03/08 Javascript
jquery中有哪些api jQuery主要API
2017/11/20 jQuery
详解vue渲染函数render的使用
2017/12/12 Javascript
[11:44]Ti9 OG夺冠时刻
2019/08/25 DOTA
Python基础学习之常见的内建函数整理
2017/09/06 Python
一篇文章快速了解Python的GIL
2018/01/12 Python
Python3.6安装及引入Requests库的实现方法
2018/01/24 Python
Python基于辗转相除法求解最大公约数的方法示例
2018/04/04 Python
Python SVM(支持向量机)实现方法完整示例
2018/06/19 Python
使用OpenCV实现仿射变换—缩放功能
2019/08/29 Python
python定义类self用法实例解析
2020/01/22 Python
在django中使用post方法时,需要增加csrftoken的例子
2020/03/13 Python
vscode调试django项目的方法
2020/08/06 Python
CSS3哪些新特性值得称赞
2016/03/02 HTML / CSS
详解如何解决canvas图片getImageData,toDataURL跨域问题
2018/09/17 HTML / CSS
巴西购物网站:Estrela10
2018/12/13 全球购物
德国2018年度最佳在线药房:Bodfeld Apotheke
2019/11/04 全球购物
澳大利亚网上书店:QBD
2021/01/09 全球购物
小班上学期评语
2014/05/05 职场文书
教师党员岗位承诺书
2014/05/29 职场文书
酒店餐厅2014重阳节活动策划方案
2014/09/16 职场文书
村主任“四风”问题个人整改措施
2014/10/04 职场文书
巾帼文明岗事迹材料
2014/12/24 职场文书
歼十出击观后感
2015/06/11 职场文书
高中班主任心得体会
2016/01/07 职场文书
导游词之无锡梅园
2019/11/28 职场文书
浅谈Python数学建模之固定费用问题
2021/06/23 Python