python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python中使用sys模板和logging模块获取行号和函数名的方法
Apr 15 Python
Python 冒泡,选择,插入排序使用实例
Feb 05 Python
常用python编程模板汇总
Feb 12 Python
Django的信号机制详解
May 05 Python
Python实现备份MySQL数据库的方法示例
Jan 11 Python
python批量读取txt文件为DataFrame的方法
Apr 03 Python
pandas.loc 选取指定列进行操作的实例
May 18 Python
python dataframe 输出结果整行显示的方法
Jun 14 Python
深入学习python多线程与GIL
Aug 26 Python
Python tcp传输代码实例解析
Mar 18 Python
Django URL参数Template反向解析
Nov 24 Python
Python保存并浏览用户的历史记录
Apr 29 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
浅谈PHP错误类型及屏蔽方法
2017/05/27 PHP
PHP实现的简单排列组合算法应用示例
2017/06/20 PHP
用YUI做了个标签浏览效果
2007/02/20 Javascript
jQuery 1.5.1 发布,全面支持IE9 修复大量bug
2011/02/26 Javascript
基于jquery的获取浏览器窗口大小的代码
2011/03/28 Javascript
node.js解决获取图片真实文件类型的问题
2014/12/20 Javascript
Javascript仿新浪游戏频道鼠标悬停显示子菜单效果
2015/08/21 Javascript
jQuery中ajax的load()与post()方法实例详解
2016/01/05 Javascript
Bootstrap导航条可点击和鼠标悬停显示下拉菜单的实现代码
2016/06/23 Javascript
Bootstrap 3.x打印预览背景色与文字显示异常的解决
2016/11/06 Javascript
vue-router 中router-view不能渲染的解决方法
2017/05/23 Javascript
前端主流框架vue学习笔记第二篇
2017/07/26 Javascript
springMvc 前端用json的方式向后台传递对象数组方法
2018/08/07 Javascript
在Vue项目中取消ESLint代码检测的步骤讲解
2019/01/27 Javascript
python daemon守护进程实现
2016/08/27 Python
让Django支持Sql Server作后端数据库的方法
2018/05/29 Python
Django中日期处理注意事项与自定义时间格式转换详解
2018/08/06 Python
pandas每次多Sheet写入文件的方法
2018/12/10 Python
Python搭建代理IP池实现接口设置与整体调度
2019/10/27 Python
pycharm显示远程图片的实现
2019/11/04 Python
CSS3实现各种图形的示例代码
2016/10/19 HTML / CSS
台湾饭店和机票预订网站:Expedia台湾
2016/08/05 全球购物
Microsoft新加坡官方网站:购买微软最新软件和技术产品
2016/10/28 全球购物
Hotels.com南非:酒店预订
2017/11/02 全球购物
巴西女装购物网站:Eclectic
2018/04/24 全球购物
经典C++面试题一
2016/11/06 面试题
教学改革实施方案
2014/03/31 职场文书
捐款倡议书格式范文
2014/05/14 职场文书
大学生优秀班干部事迹材料
2014/05/26 职场文书
毕业实习证明范本
2015/06/16 职场文书
2016年党建工作简报
2015/11/26 职场文书
私人贷款担保书该怎么写呢?
2019/07/02 职场文书
Ajax实现局部刷新的方法实例
2021/03/31 Javascript
javascript canvas实现雨滴效果
2021/06/09 Javascript
TV动画《间谍过家家》公开PV
2022/03/20 日漫
Python函数对象与闭包函数
2022/04/13 Python