python urllib爬取百度云连接的实例代码


Posted in Python onJune 19, 2017

翻看自己以前写的程序,发现写过一个爬取盘多多百度云资源的东西,完全是当时想看变形金刚才自己写的,而且当时第一次接触python大概写了有2天才搞出来这个程序,学习python语言,可以看得出来那时候的代码写的真的low。虽然现在也不怎么样,哈哈,一直学习中,不做过多解释,上图上代码,因为变量的声明是什么我自己也忘了(手动傲娇),连写入文件当时都不会哈哈哈哈哈哈哈哈,也不知道class中可以通过init初始化,唉学习python原来我学到了这么多东西,感谢python

python urllib爬取百度云连接的实例代码

from bs4 import BeautifulSoup
import urllib
import requests
import re

adr =[]

''''对搜素资源名字进行url编码'''
search_text =raw_input('请输入搜索资源名:')
search_text = search_text.decode('gbk')
search_text = search_text.encode('utf-8')
search_text = urllib.quote(search_text)


''''获取文件地址'''
home = urllib.urlopen('http://www.panduoduo.net/s/name/'+search_text)


'''获取百度云地址'''
def getbaidu(adr):
  for i in adr:
    url = urllib.urlopen('http://www.panduoduo.net'+i)
    bs = BeautifulSoup(url)
    bs1 = bs.select('.dbutton2')
    href = re.compile('http\%(\%|\d|\w|\/\/|\/|\.)*')
    b = href.search(str(bs1))
    name = str(bs.select('.center')).decode('utf-8')
    text1 = re.compile('\<h1\sclass\=\"center"\>[\d|\w|\D|\W]*\</h1\>')
    text2 = text1.search(name)
    rag1 = re.compile('\>[\d|\w|\D|\W]*\<')
    if text2:
      text3 = rag1.search(text2.group())
      if text3:
        print text3.group()
    if b:
      text = urllib.unquote(str(b.group())).decode('utf-8')
      print text

'''初始化'''
def init(adr):
  soup = BeautifulSoup(home)
  soup = soup.select('.row')
  pattern = re.compile('\/r\/\d+')
  for i in soup:
    i = str(i)
    adress = pattern.search(i)
    adress = adress.group()
    adr.append(adress)


print 'running---------'    
init(adr)
getbaidu(adr)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python在Windows8下获取本机ip地址的方法
Mar 14 Python
在Python的Flask中使用WTForms表单框架的基础教程
Jun 07 Python
Zookeeper接口kazoo实例解析
Jan 22 Python
python 实现对文件夹中的图像连续重命名方法
Oct 25 Python
python 内置模块详解
Jan 01 Python
python匿名函数用法实例分析
Aug 03 Python
Python 中的 global 标识对变量作用域的影响
Aug 12 Python
Python日期格式和字符串格式相互转换的方法
Feb 18 Python
python使用gdal对shp读取,新建和更新的实例
Mar 10 Python
pyqt5 QlistView列表显示的实现示例
Mar 24 Python
Python导入模块包原理及相关注意事项
Mar 25 Python
python opencv检测直线 cv2.HoughLinesP的实现
Jun 18 Python
Python的IDEL增加清屏功能实例
Jun 19 #Python
利用python爬取散文网的文章实例教程
Jun 18 #Python
Python3中简单的文件操作及两个简单小实例分享
Jun 18 #Python
python实现各进制转换的总结大全
Jun 18 #Python
Mac 上切换Python多版本
Jun 17 #Python
利用python实现xml与数据库读取转换的方法
Jun 17 #Python
用python写个自动SSH登录远程服务器的小工具(实例)
Jun 17 #Python
You might like
PHP中全面阻止SQL注入式攻击分析小结
2012/01/30 PHP
php 获取百度的热词数据的代码
2012/02/18 PHP
PHP调用JAVA的WebService简单实例
2014/03/11 PHP
PHP实现的mysql主从数据库状态检测功能示例
2017/07/20 PHP
为Extjs加加速(javascript加速)
2010/08/19 Javascript
加速IE的Javascript document输出的方法
2010/12/02 Javascript
打造基于jQuery的高性能TreeView(asp.net)
2011/02/23 Javascript
JS 面向对象之神奇的prototype
2011/02/26 Javascript
关于jquery ajax 调用带参数的webservice返回XML数据一个小细节
2012/07/31 Javascript
JQuery调webservice实现邮箱验证(检测是否可用)
2013/05/21 Javascript
JavaScript setTimeout使用闭包功能实现定时打印数值
2015/12/18 Javascript
jQuery事件绑定用法详解(附bind和live的区别)
2016/01/19 Javascript
用director.js实现前端路由使用实例
2017/01/27 Javascript
Vue编写多地区选择组件
2017/08/21 Javascript
微信小程序实现图片选择并预览功能
2019/07/25 Javascript
layui 中select下拉change事件失效的解决方法
2019/09/20 Javascript
js实现随机抽奖
2020/03/19 Javascript
python实现sublime3的less编译插件示例
2014/04/27 Python
对Python的多进程锁的使用方法详解
2019/02/18 Python
python3应用windows api对后台程序窗口及桌面截图并保存的方法
2019/08/27 Python
python文字转语音实现过程解析
2019/11/12 Python
使用Python串口实时显示数据并绘图的例子
2019/12/26 Python
用python解压分析jar包实例
2020/01/16 Python
python 追踪except信息方式
2020/04/25 Python
2020版Python学习路线图(附学习资料)
2020/09/15 Python
python实现在列表中查找某个元素的下标示例
2020/11/16 Python
Nayomi官网:沙特阿拉伯王国睡衣和内衣品牌
2020/12/19 全球购物
如何获取某个日期是当月的最后一天
2013/12/05 面试题
大学生两会精神学习心得体会
2014/03/10 职场文书
初中生操行评语大全
2014/04/24 职场文书
优秀纪检干部材料
2014/08/27 职场文书
社团活动总结格式
2014/08/29 职场文书
综治维稳工作承诺书
2014/08/30 职场文书
2014年党员整改措施范文
2014/09/21 职场文书
MySQL非空约束(not null)案例讲解
2021/08/23 MySQL
ubuntu20.04虚拟机无法上网的问题及解决
2022/12/24 Servers