python基于BeautifulSoup实现抓取网页指定内容的方法


Posted in Python onJuly 09, 2015

本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下:

# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
  page = urllib2.urlopen(url)
  html_doc = page.read()
  soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
  for i in soup.find_all('div', id="sortlist"):
    one = i.find_all('a')
    two = i.find_all('li')
    print ("%s %s" % (one,two))
jd("http://channel.jd.com/computer.html")

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python中几种导入模块的方式总结
Apr 27 Python
Python正则表达式非贪婪、多行匹配功能示例
Aug 08 Python
关于Django外键赋值问题详解
Aug 13 Python
python3设计模式之简单工厂模式
Oct 17 Python
Python+matplotlib实现填充螺旋实例
Jan 15 Python
python实现将excel文件转化成CSV格式
Mar 22 Python
解决python nohup linux 后台运行输出的问题
May 11 Python
pip指定python位置安装软件包的方法
Jul 12 Python
Python 使用type来定义类的实现
Nov 19 Python
解决pycharm 安装numpy失败的问题
Dec 05 Python
python列表返回重复数据的下标
Feb 10 Python
在keras里面实现计算f1-score的代码
Jun 15 Python
python简单猜数游戏实例
Jul 09 #Python
Python使用turtule画五角星的方法
Jul 09 #Python
python查看zip包中文件及大小的方法
Jul 09 #Python
Python基于checksum计算文件是否相同的方法
Jul 09 #Python
Python实现文件按照日期命名的方法
Jul 09 #Python
python实现用户登陆邮件通知的方法
Jul 09 #Python
python获取局域网占带宽最大3个ip的方法
Jul 09 #Python
You might like
smarty静态实验表明,网络上是错的~呵呵
2006/11/25 PHP
用PHP实现递归循环每一个目录
2010/08/08 PHP
js+php实现静态页面实时调用用户登陆状态的方法
2015/01/04 PHP
php备份数据库类分享
2015/04/14 PHP
JQuery 网站换肤功能实现代码
2009/11/02 Javascript
jquery 合并内容相同的单元格(示例代码)
2013/12/13 Javascript
Javascript 计算字符串在localStorage中所占字节数
2015/10/21 Javascript
JavaScript程序设计之JS调试
2015/12/09 Javascript
js运动应用实例解析
2015/12/28 Javascript
利用jQuery插件imgAreaSelect实现获得选择域的图像信息
2016/12/02 Javascript
Angular 4 依赖注入学习教程之FactoryProvider的使用(四)
2017/06/04 Javascript
详解angular部署到iis出现404解决方案
2018/08/14 Javascript
vueJs实现DOM加载完之后自动下拉到底部的实例代码
2018/08/31 Javascript
Vue中使用 setTimeout() setInterval()函数的问题
2018/09/13 Javascript
JavaScript常用数组操作方法,包含ES6方法
2020/05/10 Javascript
vue实现自定义H5视频播放器的方法步骤
2019/07/01 Javascript
Python中使用SAX解析xml实例
2014/11/21 Python
在Ubuntu系统下安装使用Python的GUI工具wxPython
2016/02/18 Python
python遍历目录的方法小结
2016/04/28 Python
轻松理解Python 中的 descriptor
2017/09/15 Python
Python内置模块hashlib、hmac与uuid用法分析
2018/02/12 Python
opencv实现简单人脸识别
2021/02/19 Python
Python如何优雅获取本机IP方法
2019/11/10 Python
python做接口测试的必要性
2019/11/20 Python
Python简单实现区域生长方式
2020/01/16 Python
Django项目uwsgi+Nginx保姆级部署教程实现
2020/04/19 Python
支持IE8的纯css3开发的响应式设计动画菜单教程
2014/11/05 HTML / CSS
CheapTickets泰国:廉价航班,查看促销价格并预订机票
2019/12/28 全球购物
后勤人员自我评价怎么写
2013/09/19 职场文书
物流专员岗位职责
2014/02/17 职场文书
暑期培训心得体会
2014/09/02 职场文书
市贸粮局召开党的群众路线教育实践活动总结大会新闻稿
2014/10/21 职场文书
2015年高校就业工作总结
2015/05/04 职场文书
Python制作春联的示例代码
2022/01/22 Python
使用Python获取字典键对应值的方法
2022/04/26 Python
使用Python开发贪吃蛇游戏 SnakeGame
2022/04/30 Python