使用Python抓取模板之家的CSS模板


Posted in Python onMarch 16, 2015

Python版本是2.7.9,在win8上测试成功,就是抓取有点慢,本来想用多线程的,有事就罢了。模板之家的网站上的url参数与页数不匹配,懒得去做分析了,就自己改代码中的url吧。大神勿喷!

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# by ustcwq

# 2015-03-15

 

import urllib,urllib2,os,time

from bs4 import BeautifulSoup

 

start = time.clock()

path = os.getcwd()+u'/模板之家抓取的模板/'

if not os.path.isdir(path):

    os.mkdir(path)

 

url = "http://www.cssmoban.com/cssthemes/index_80.shtml"    # 源网站中的index后面数字怎么编排的?

theme_url ='http://www.cssmoban.com/cssthemes/'

response = urllib2.urlopen(url)

soup = BeautifulSoup(response) 

result = soup.select('p[class="title"] a')

print result

 

for item in result:

    link = item['href']

    # down_name = item.text   # 文件名称

    new_url = theme_url+link.split('/')[-1]

    response = urllib2.urlopen(new_url)

    soup = BeautifulSoup(response) 

    result = soup.select('.btn a')

    down_url = result[1]['href']    # 文件链接

 

    local = path+time.strftime('%Y%m%d%H%M%S',time.localtime(time.time()))+'.zip' 

    urllib.urlretrieve(down_url, local) # 远程保存函数

 

end = time.clock()

print u'模板抓取完成!'

print u'一共用时:',end-start,u'秒'

使用Python抓取模板之家的CSS模板

使用Python抓取模板之家的CSS模板

以上所述就是本文的全部内容了,希望大家能够喜欢。

Python 相关文章推荐
Python 文件和输入输出小结
Oct 09 Python
Python中unittest用法实例
Sep 25 Python
python实现调用其他python脚本的方法
Oct 05 Python
python实现斐波那契数列的方法示例
Jan 12 Python
Python 快速实现CLI 应用程序的脚手架
Dec 05 Python
python内置数据类型之列表操作
Nov 12 Python
Python实现查找二叉搜索树第k大的节点功能示例
Jan 24 Python
使用TensorFlow实现简单线性回归模型
Jul 19 Python
基于pytorch的保存和加载模型参数的方法
Aug 17 Python
Pytorch之view及view_as使用详解
Dec 31 Python
用pytorch的nn.Module构造简单全链接层实例
Jan 14 Python
pycharm解决关闭flask后依旧可以访问服务的问题
Apr 03 Python
Python实现竖排打印传单手机号码易撕条
Mar 16 #Python
python通过exifread模块获得图片exif信息的方法
Mar 16 #Python
python通过pil模块将raw图片转换成png图片的方法
Mar 16 #Python
python通过pil将图片转换成黑白效果的方法
Mar 16 #Python
python实现获取客户机上指定文件并传输到服务器的方法
Mar 16 #Python
python提取内容关键词的方法
Mar 16 #Python
python生成随机mac地址的方法
Mar 16 #Python
You might like
PHP项目开发中最常用的自定义函数整理
2010/12/02 PHP
Jquery ajax传递复杂参数给WebService的实现代码
2011/08/08 Javascript
JavaScript实现快速排序(自已编写)
2012/12/19 Javascript
使用jQuery中的when实现多个AJAX请求对应单个回调的例子分享
2014/04/23 Javascript
window.location.reload 刷新使用分析(去对话框)
2015/11/11 Javascript
基于JQuery实现的跑马灯效果(文字无缝向上翻动)
2016/12/02 Javascript
基于jQuery实现咖啡订单管理简单应用
2017/02/10 Javascript
canvas实现十二星座星空图
2017/02/14 Javascript
不使用 JS 匿名函数理由
2017/11/17 Javascript
vue-cli3.0配置及使用注意事项详解
2018/09/05 Javascript
element-ui组件table实现自定义筛选功能的示例代码
2019/03/15 Javascript
vue+element+Java实现批量删除功能
2019/04/08 Javascript
js设计模式之单例模式原理与用法详解
2019/08/15 Javascript
jQuery 判断元素是否存在然后按需加载内容的实现代码
2020/01/16 jQuery
javascript设计模式 ? 解释器模式原理与用法实例分析
2020/04/17 Javascript
关于IDEA中的.VUE文件报错 Export declarations are not supported by current JavaScript version
2020/10/17 Javascript
[03:10]超级美酒第四天 fy拉比克秀 大合集
2018/06/05 DOTA
python ElementTree 基本读操作示例
2009/04/09 Python
Python与shell的3种交互方式介绍
2015/04/11 Python
python虚拟环境virtualenv的安装与使用
2017/09/21 Python
Django的分页器实例(paginator)
2017/12/01 Python
python验证码识别教程之利用投影法、连通域法分割图片
2018/06/04 Python
python通过ffmgep从视频中抽帧的方法
2018/12/05 Python
Python上下文管理器用法及实例解析
2019/11/11 Python
Python使用Pandas库常见操作详解
2020/01/16 Python
vscode写python时的代码错误提醒和自动格式化的方法
2020/05/07 Python
将pycharm配置为matlab或者spyder的用法说明
2020/06/08 Python
Python基于httpx模块实现发送请求
2020/07/07 Python
Ever New加拿大官网:彰显女性美
2018/10/05 全球购物
智乐游戏测试笔试题
2014/05/21 面试题
焊接专业毕业生求职信
2013/10/01 职场文书
产品生产计划书
2014/05/07 职场文书
2015年党风廉政建设个人总结
2015/08/18 职场文书
2019运动会广播加油稿汇总
2019/08/21 职场文书
解决Pytorch中关于model.eval的问题
2021/05/22 Python
Python标准库pathlib操作目录和文件
2021/11/20 Python