python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
tensorflow识别自己手写数字
Mar 14 Python
详谈python3 numpy-loadtxt的编码问题
Apr 29 Python
Python实现动态添加属性和方法操作示例
Jul 25 Python
Python面向对象之类和对象实例详解
Dec 10 Python
Python3.5模块的定义、导入、优化操作图文详解
Apr 27 Python
Keras 实现加载预训练模型并冻结网络的层
Jun 15 Python
python 基于卡方值分箱算法的实现示例
Jul 17 Python
python 实现单例模式的5种方法
Sep 23 Python
Django 用户认证Auth组件的使用
Nov 30 Python
如何用Python徒手写线性回归
Jan 25 Python
tensorflow中的梯度求解及梯度裁剪操作
May 26 Python
Python import模块的缓存问题解决方案
Jun 02 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
php中请求url的五种方法总结
2017/07/13 PHP
PHP 实现base64编码文件上传出现问题详解
2020/09/01 PHP
javascript addBookmark 加入收藏 多浏览器兼容
2009/08/15 Javascript
JavaScript中常用的运算符小结
2012/01/18 Javascript
window.parent与window.openner区别介绍
2012/04/12 Javascript
node.js中的fs.fchmodSync方法使用说明
2014/12/16 Javascript
浅谈nodeName,nodeValue,nodeType,typeof 的区别
2015/01/13 Javascript
[原创]JS基于FileSaver.js插件实现文件保存功能示例
2016/12/08 Javascript
JS实现含有中文字符串的友好截取功能分析
2017/03/13 Javascript
xmlplus组件设计系列之列表(4)
2017/04/26 Javascript
JavaScript学习笔记之惰性函数示例详解
2017/08/27 Javascript
Vue自定义全局Toast和Loading的实例详解
2019/04/18 Javascript
JavaScript类的继承多种实现方法
2020/05/30 Javascript
vue商城中商品“筛选器”功能的实现代码
2020/07/01 Javascript
python实现解数独程序代码
2017/04/12 Python
Python实现曲线点抽稀算法的示例
2017/10/12 Python
pandas 对series和dataframe进行排序的实例
2018/06/09 Python
Python实现的网页截图功能【PyQt4与selenium组件】
2018/07/12 Python
python3爬虫怎样构建请求header
2018/12/23 Python
python输出电脑上所有的串口名的方法
2019/07/02 Python
Python 基于wxpy库实现微信添加好友功能(简洁)
2019/11/29 Python
Django REST framwork的权限验证实例
2020/04/02 Python
canvas裁剪clip()函数的具体使用
2018/03/01 HTML / CSS
前后端结合实现amazeUI分页效果
2020/08/21 HTML / CSS
意大利包包和行李箱销售网站:Bagaglio.it
2021/03/02 全球购物
医学生实习自我鉴定
2013/09/27 职场文书
酒店端午节促销方案
2014/02/18 职场文书
销售求职信范文
2014/05/26 职场文书
新婚姻法离婚协议书范文
2014/11/30 职场文书
2015年统战工作总结
2015/05/19 职场文书
党员转正党支部意见
2015/06/02 职场文书
MySQL连表查询分组去重的实现示例
2021/07/01 MySQL
quickjs 封装 JavaScript 沙箱详情
2021/11/02 Javascript
使用jpa之动态插入与修改(重写save)
2021/11/23 Java/Android
Linux系统下MySQL配置主从分离的步骤
2022/03/21 MySQL
python index() 与 rindex() 方法的使用示例详解
2022/12/24 Python