python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Windows下安装python2.7及科学计算套装
Mar 05 Python
详解Python的Django框架中的模版相关知识
Jul 15 Python
查看python下OpenCV版本的方法
Aug 03 Python
Python 给某个文件名添加时间戳的方法
Oct 16 Python
Django结合ajax进行页面实时更新的例子
Aug 12 Python
Python 下载及安装详细步骤
Nov 04 Python
python实现修改固定模式的字符串内容操作示例
Dec 30 Python
pytorch torch.nn.AdaptiveAvgPool2d()自适应平均池化函数详解
Jan 03 Python
Python模块_PyLibTiff读取tif文件的实例
Jan 13 Python
Python数组并集交集补集代码实例
Feb 18 Python
使用OpenCV实现人脸图像卡通化的示例代码
Jan 15 Python
详解Python为什么不用设计模式
Jun 24 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
PHP5.2下chunk_split()函数整数溢出漏洞 分析
2007/06/06 PHP
PHP面向对象的进阶学习(抽像类、接口、final、类常量)
2012/05/07 PHP
WordPress中限制非管理员用户在文章后只能评论一次
2015/12/31 PHP
php解析mht文件转换成html的实例
2017/03/13 PHP
Javascript开发包大全整理
2006/12/22 Javascript
javascript 类型判断代码分析
2010/03/28 Javascript
jQuery的链式调用浅析
2010/12/03 Javascript
使用隐藏的new来创建对象
2011/03/29 Javascript
Javascript 键盘事件的组合使用实现代码
2012/05/04 Javascript
你必须知道的JavaScript 变量命名规则详解
2013/05/07 Javascript
常见的原始JS选择器使用方法总结
2014/04/09 Javascript
JS修改iframe页面背景颜色的方法
2015/04/01 Javascript
Bootstrap每天必学之表格
2015/11/23 Javascript
全面解析Bootstrap布局组件应用
2016/02/22 Javascript
Bootstrap+jfinal实现省市级联下拉菜单
2016/05/30 Javascript
JS作用域深度解析
2016/12/29 Javascript
微信小程序 devtool隐藏的秘密
2017/01/21 Javascript
Node.js利用debug模块打印出调试日志的方法
2017/04/25 Javascript
React Native预设占位placeholder的使用
2017/09/28 Javascript
微信小程序按钮去除边框线分享页面功能
2018/08/27 Javascript
小程序登录态管理的方法示例
2018/11/13 Javascript
uniapp实现横向滚动选择日期
2020/10/21 Javascript
vue watch监控对象的简单方法示例
2021/01/07 Vue.js
python使用百度翻译进行中翻英示例
2014/04/14 Python
python中如何使用正则表达式的非贪婪模式示例
2017/10/09 Python
vscode 配置 python3开发环境的方法
2019/09/19 Python
python程序 创建多线程过程详解
2019/09/23 Python
关于Python 常用获取元素 Driver 总结
2019/11/24 Python
使用Tensorflow将自己的数据分割成batch训练实例
2020/01/20 Python
python 基于opencv 绘制图像轮廓
2020/12/11 Python
求职简历中个人的自我评价
2013/12/01 职场文书
给女儿的表扬信
2014/01/18 职场文书
放假通知范文
2015/04/14 职场文书
大学考试作弊检讨书
2015/05/06 职场文书
禁毒心得体会范文
2016/01/15 职场文书
解析Java异步之call future
2021/06/14 Java/Android