python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python使用urllib2获取网络资源实例讲解
Dec 02 Python
Python入门_浅谈for循环、while循环
May 16 Python
Python3爬虫学习之将爬取的信息保存到本地的方法详解
Dec 12 Python
Python线性拟合实现函数与用法示例
Dec 13 Python
在Pycharm中设置默认自动换行的方法
Jan 16 Python
Python 支付整合开发包的实现
Jan 23 Python
python实现AES和RSA加解密的方法
Mar 28 Python
python查看文件大小和文件夹内容的方法
Jul 08 Python
Python3环境安装Scrapy爬虫框架过程及常见错误
Jul 12 Python
matplotlib命令与格式之tick坐标轴日期格式(设置日期主副刻度)
Aug 06 Python
django 通过url实现简单的权限控制的例子
Aug 16 Python
详解pyqt5的UI中嵌入matplotlib图形并实时刷新(挖坑和填坑)
Aug 07 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
跟我学Laravel之快速入门
2014/10/15 PHP
php中rename函数用法分析
2014/11/15 PHP
jquery+php实现导出datatables插件数据到excel的方法
2015/07/06 PHP
PHP+JS实现的商品秒杀倒计时用法示例
2016/11/15 PHP
Laravel实现ORM带条件搜索分页
2019/10/24 PHP
php实现图片压缩处理
2020/09/09 PHP
Javascript 判断客户端浏览器类型代码
2010/03/01 Javascript
深入理解JavaScript系列(1) 编写高质量JavaScript代码的基本要点
2012/01/15 Javascript
正负小数点后两位浮点数实现原理及代码
2013/09/06 Javascript
javascript实现点击商品列表checkbox实时统计金额的方法
2015/05/15 Javascript
JavaScript实现基于十进制的四舍五入实例
2015/07/17 Javascript
jQueryUI中的datepicker使用方法详解
2016/05/25 Javascript
jQuery实现背景弹性滚动的导航效果
2016/06/01 Javascript
Vue.js原理分析之observer模块详解
2017/02/17 Javascript
React学习笔记之列表渲染示例详解
2017/08/22 Javascript
JS立即执行函数功能与用法分析
2019/01/15 Javascript
jquery实现抽奖功能
2020/10/22 jQuery
pip 错误unused-command-line-argument-hard-error-in-future解决办法
2014/06/01 Python
python实现将英文单词表示的数字转换成阿拉伯数字的方法
2015/07/02 Python
python中子类调用父类函数的方法示例
2017/08/18 Python
Python通过命令开启http.server服务器的方法
2017/11/04 Python
python3 打开外部程序及关闭的示例
2018/11/06 Python
python实现祝福弹窗效果
2019/04/07 Python
值得收藏的10道python 面试题
2019/04/15 Python
使用Python和Prometheus跟踪天气的使用方法
2019/05/06 Python
使用matlab或python将txt文件转为excel表格
2019/11/01 Python
python两个_多个字典合并相加的实例代码
2019/12/26 Python
Python的历史与优缺点整理
2020/05/26 Python
python读取hdfs并返回dataframe教程
2020/06/05 Python
Pycharm中使用git进行合作开发的教程详解
2020/11/17 Python
俄罗斯宠物用品网上商店:ZooMag
2019/12/12 全球购物
公证书标准格式
2014/04/10 职场文书
生物科学专业自荐书
2014/06/20 职场文书
党的群众路线教育实践活动对照检查剖析材料
2014/10/09 职场文书
软弱涣散基层党组织整改方案
2014/10/25 职场文书
工程主管竞聘书
2015/09/15 职场文书