python BeautifulSoup设置页面编码的方法


Posted in Python onApril 03, 2015

在用BeautifulSoup进行抓取页面的时候,会各种各样的编码错误。
可以通过在beautifulsoup中指定字符编码,解决问题。

import urllib2  

from BeautifulSoup import BeautifulSoup  

  

page = urllib2.urlopen('http://www.163.com');  

soup = BeautifulSoup(page,from_encoding="gb2312")  

  

print soup.originalEncoding

print soup.prettify() 

红色部分表示需要注意的地方。在BeautifulSoup构造器中传入fromEncoding参数即可解决乱码问题,当然具体参数值是什么就要看你获取页面的编码是什么
Python 相关文章推荐
pyqt4教程之messagebox使用示例分享
Mar 07 Python
python遍历类中所有成员的方法
Mar 18 Python
python获取指定网页上所有超链接的方法
Apr 04 Python
详解用python实现简单的遗传算法
Jan 02 Python
python3爬取淘宝信息代码分析
Feb 10 Python
python2.7和NLTK安装详细教程
Sep 19 Python
详解通过API管理或定制开发ECS实例
Sep 30 Python
python读取各种文件数据方法解析
Dec 29 Python
Python使用os.listdir()和os.walk()获取文件路径与文件下所有目录的方法
Apr 01 Python
python遍历文件目录、批量处理同类文件
Aug 31 Python
基于Python实现人脸自动戴口罩系统
Feb 06 Python
如何解决cmd运行python提示不是内部命令
Jul 01 Python
用Python编写一个简单的FUSE文件系统的教程
Apr 02 #Python
用Python中的__slots__缓存资源以节省内存开销的方法
Apr 02 #Python
用Python的线程来解决生产者消费问题的示例
Apr 02 #Python
用实例分析Python中method的参数传递过程
Apr 02 #Python
使用优化器来提升Python程序的执行效率的教程
Apr 02 #Python
使用Python脚本对Linux服务器进行监控的教程
Apr 02 #Python
在Python编程过程中用单元测试法调试代码的介绍
Apr 02 #Python
You might like
php中的数组操作函数整理
2008/08/18 PHP
php计算程序运行时间的简单例子分享
2014/05/10 PHP
最常用的8款PHP调试工具
2014/07/06 PHP
php实现的click captcha点击验证码类实例
2014/09/23 PHP
php使用date和strtotime函数输出指定日期的方法
2014/11/14 PHP
php上传图片客户端和服务器端实现方法
2015/03/30 PHP
Laravel学习基础之migrate的使用教程
2017/10/11 PHP
thinkphp3.2框架中where条件查询用法总结
2019/08/13 PHP
fckeditor 获取文本框值的实现代码
2009/02/09 Javascript
Javascript异步编程的4种方法让你写出更出色的程序
2013/01/17 Javascript
JavaScript实现鼠标滑过处生成气泡的方法
2015/05/16 Javascript
解决jquery插件:TypeError:$.browser is undefined报错的方法
2015/11/21 Javascript
JavaScript+canvas实现七色板效果实例
2016/02/18 Javascript
基于JS如何实现类似QQ好友头像hover时显示资料卡的效果(推荐)
2016/06/09 Javascript
jQuery排序插件tableSorter使用方法
2017/02/10 Javascript
NodeJs实现简单的爬虫功能案例分析
2018/12/05 NodeJs
基于vue与element实现创建试卷相关功能(实例代码)
2020/12/07 Vue.js
Python的条件语句与运算符优先级详解
2015/10/13 Python
python解析基于xml格式的日志文件
2017/02/25 Python
python 读取文件并替换字段的实例
2018/07/12 Python
python装饰器练习题及答案
2019/11/01 Python
使用Python函数进行模块化的实现
2019/11/15 Python
Python3 socket即时通讯脚本实现代码实例(threading多线程)
2020/06/01 Python
交通专业个人自荐信格式
2013/09/23 职场文书
大学生优秀的自我评价分享
2013/10/22 职场文书
应届大学生求职信
2013/12/01 职场文书
毕业生的自我评价范文
2013/12/31 职场文书
幼儿园庆六一游园活动方案
2014/01/29 职场文书
违反校纪校规检讨书
2014/02/15 职场文书
倡议书范文格式
2014/05/12 职场文书
2014乡镇机关党员个人对照检查材料思想汇报
2014/10/09 职场文书
区域销售经理岗位职责
2015/04/02 职场文书
工作收入证明范本
2015/06/12 职场文书
2016年秋季运动会广播稿
2015/12/21 职场文书
Java实现带图形界面的聊天程序
2022/06/10 Java/Android
Nginx如何限制IP访问只允许特定域名访问
2022/07/23 Servers