python urllib爬取百度云连接的实例代码


Posted in Python onJune 19, 2017

翻看自己以前写的程序,发现写过一个爬取盘多多百度云资源的东西,完全是当时想看变形金刚才自己写的,而且当时第一次接触python大概写了有2天才搞出来这个程序,学习python语言,可以看得出来那时候的代码写的真的low。虽然现在也不怎么样,哈哈,一直学习中,不做过多解释,上图上代码,因为变量的声明是什么我自己也忘了(手动傲娇),连写入文件当时都不会哈哈哈哈哈哈哈哈,也不知道class中可以通过init初始化,唉学习python原来我学到了这么多东西,感谢python

python urllib爬取百度云连接的实例代码

from bs4 import BeautifulSoup
import urllib
import requests
import re

adr =[]

''''对搜素资源名字进行url编码'''
search_text =raw_input('请输入搜索资源名:')
search_text = search_text.decode('gbk')
search_text = search_text.encode('utf-8')
search_text = urllib.quote(search_text)


''''获取文件地址'''
home = urllib.urlopen('http://www.panduoduo.net/s/name/'+search_text)


'''获取百度云地址'''
def getbaidu(adr):
  for i in adr:
    url = urllib.urlopen('http://www.panduoduo.net'+i)
    bs = BeautifulSoup(url)
    bs1 = bs.select('.dbutton2')
    href = re.compile('http\%(\%|\d|\w|\/\/|\/|\.)*')
    b = href.search(str(bs1))
    name = str(bs.select('.center')).decode('utf-8')
    text1 = re.compile('\<h1\sclass\=\"center"\>[\d|\w|\D|\W]*\</h1\>')
    text2 = text1.search(name)
    rag1 = re.compile('\>[\d|\w|\D|\W]*\<')
    if text2:
      text3 = rag1.search(text2.group())
      if text3:
        print text3.group()
    if b:
      text = urllib.unquote(str(b.group())).decode('utf-8')
      print text

'''初始化'''
def init(adr):
  soup = BeautifulSoup(home)
  soup = soup.select('.row')
  pattern = re.compile('\/r\/\d+')
  for i in soup:
    i = str(i)
    adress = pattern.search(i)
    adress = adress.group()
    adr.append(adress)


print 'running---------'    
init(adr)
getbaidu(adr)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python字符串中的单双引
Feb 16 Python
python机器学习之神经网络(三)
Dec 20 Python
python 美化输出信息的实例
Oct 15 Python
Python3中函数参数传递方式实例详解
May 05 Python
详解Pandas之容易让人混淆的行选择和列选择
Jul 10 Python
Python实现某论坛自动签到功能
Aug 20 Python
浅谈django url请求与数据库连接池的共享问题
Aug 29 Python
python修改linux中文件(文件夹)的权限属性操作
Mar 05 Python
Python super()方法原理详解
Mar 31 Python
记一次python 爬虫爬取深圳租房信息的过程及遇到的问题
Nov 24 Python
Django-simple-captcha验证码包使用方法详解
Nov 28 Python
python 实现客户端与服务端的通信
Dec 23 Python
Python的IDEL增加清屏功能实例
Jun 19 #Python
利用python爬取散文网的文章实例教程
Jun 18 #Python
Python3中简单的文件操作及两个简单小实例分享
Jun 18 #Python
python实现各进制转换的总结大全
Jun 18 #Python
Mac 上切换Python多版本
Jun 17 #Python
利用python实现xml与数据库读取转换的方法
Jun 17 #Python
用python写个自动SSH登录远程服务器的小工具(实例)
Jun 17 #Python
You might like
php基础学习之变量的使用
2011/06/09 PHP
php中\r \r\n \t的区别示例介绍
2014/02/08 PHP
php实现redis数据库指定库号迁移的方法
2015/01/14 PHP
php生成过去100年下拉列表的方法
2015/07/20 PHP
php实现的pdo公共类定义与用法示例
2017/07/19 PHP
PHP实现的mysql读写分离操作示例
2018/05/22 PHP
运用Windows XP附带的Msicuu.exe、Msizap.exe来彻底卸载顽固程序
2007/04/21 Javascript
jQuery横向擦除焦点图特效代码分享
2015/09/06 Javascript
jQuery插件FusionWidgets实现的AngularGauge图效果示例【附demo源码】
2017/03/23 jQuery
vue分类筛选filter方法简单实例
2017/03/30 Javascript
EasyUI框架 使用Ajax提交注册信息的实现代码
2017/09/27 Javascript
vue+Vue Router多级侧导航切换路由(页面)的实现代码
2018/12/20 Javascript
微信小程序学习笔记之本地数据缓存功能详解
2019/03/29 Javascript
layui文件上传控件带更改后数据传值的方法
2019/09/23 Javascript
vue中 数字相加为字串转化为数值的例子
2019/11/07 Javascript
JavaScript中this函数使用实例解析
2020/02/21 Javascript
JS获取一个字符串中指定字符串第n次出现的位置
2021/02/10 Javascript
Python中条件选择和循环语句使用方法介绍
2013/03/13 Python
python实现的文件夹清理程序分享
2014/11/22 Python
使用Python的内建模块collections的教程
2015/04/28 Python
Scrapy框架爬取Boss直聘网Python职位信息的源码
2019/02/22 Python
python3的url编码和解码,自定义gbk、utf-8的例子
2019/08/22 Python
Python 自动登录淘宝并保存登录信息的方法
2019/09/04 Python
利用python对mysql表做全局模糊搜索并分页实例
2020/07/12 Python
HTML5对比HTML4的主要改变和改进总结
2016/05/27 HTML / CSS
南非最受欢迎的时尚品牌:MRP
2016/09/18 全球购物
德国汉莎航空中国官网: Lufthansa中国
2017/03/30 全球购物
英国Lookfantastic中文网站:护肤品美妆美发购物(英国直邮)
2020/04/27 全球购物
运动会入场解说词300字
2014/01/25 职场文书
我的中国梦演讲稿400字
2014/08/19 职场文书
毕业生实习证明
2014/09/19 职场文书
小学校园广播稿集锦
2014/10/04 职场文书
2016年企业先进员工事迹材料
2016/02/25 职场文书
python unittest单元测试的步骤分析
2021/08/02 Python
vue-cli3.x配置全局的scss的时候报错问题及解决
2022/04/30 Vue.js
使用CSS实现黑白格背景效果
2022/06/01 HTML / CSS