Python使用bs4获取58同城城市分类的方法


Posted in Python onJuly 08, 2015

本文实例讲述了Python使用bs4获取58同城城市分类的方法。分享给大家供大家参考。具体如下:

# -*- coding:utf-8 -*-
#! /usr/bin/python
import urllib
import os, datetime, sys
from bs4 import BeautifulSoup
reload(sys) 
sys.setdefaultencoding( "utf-8" ) 
__BASEURL__ = "http://bj.58.com/"
__INITURL__ = "http://bj.58.com/hezu/"
soup=BeautifulSoup(urllib.urlopen(__INITURL__))
lv1Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem')('a',href=True)
f=open('data.txt', 'w')
for element in lv1Elements[1:]:
  f.write((element.get_text() + '\r\n'))
  print element.get_text()
  url = __BASEURL__ + element.get('href')
  print url
  soup=BeautifulSoup(urllib.urlopen(url))
  lv2Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem').find('div', 'subarea').find_all('a')
  texts = [t.get_text() for t in lv2Elements]
  f.write(' '.join(texts) + '\r\n\r\n')
f.close()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python实现国外赌场热门游戏Craps(双骰子)
Mar 31 Python
Python语言实现获取主机名根据端口杀死进程
Mar 31 Python
numpy.linspace 生成等差数组的方法
Jul 02 Python
python中join()方法介绍
Oct 11 Python
Python学习笔记之Django创建第一个数据库模型的方法
Aug 07 Python
Tensorflow之MNIST CNN实现并保存、加载模型
Jun 17 Python
Python sublime安装及配置过程详解
Jun 29 Python
python为什么要安装到c盘
Jul 20 Python
python 利用opencv实现图像网络传输
Nov 12 Python
Python实现京东抢秒杀功能
Jan 25 Python
python删除csv文件的行列
Apr 06 Python
python爬取某网站原图作为壁纸
Jun 02 Python
Python实现批量修改文件名实例
Jul 08 #Python
Python查询阿里巴巴关键字排名的方法
Jul 08 #Python
浅谈Python中的闭包
Jul 08 #Python
Python中atexit模块的基本使用示例
Jul 08 #Python
python登录豆瓣并发帖的方法
Jul 08 #Python
python发送HTTP请求的方法小结
Jul 08 #Python
python友情链接检查方法
Jul 08 #Python
You might like
PHP HTML代码串截取代码
2008/12/29 PHP
PHP 模拟$_PUT实现代码
2010/03/15 PHP
php+js实现异步图片上传实例分享
2014/06/02 PHP
php对xml文件的增删改查操作实现方法分析
2017/05/19 PHP
PHP数据库操作四:mongodb用法分析
2017/08/16 PHP
JavaScript中清空数组的三种方法分享
2011/04/07 Javascript
js实现图片旋转的三种方法
2014/04/10 Javascript
JavaScript-RegExp对象只能使用一次问题解决方法
2014/06/23 Javascript
如何在MVC应用程序中使用Jquery
2014/11/17 Javascript
浅谈javascript 归并方法
2015/01/21 Javascript
JavaScript实现重置表单(reset)的方法
2015/04/02 Javascript
浅谈$(document)和$(window)的区别
2015/07/15 Javascript
Highcharts入门之基本属性
2016/08/02 Javascript
nodejs利用http模块实现银行卡所属银行查询和骚扰电话验证示例
2016/12/30 NodeJs
Javascript 两种刷新方法以及区别和适用范围
2017/01/17 Javascript
vue渲染时闪烁{{}}的问题及解决方法
2018/03/28 Javascript
vue路由事件beforeRouteLeave及组件内定时器的清除方法
2018/09/29 Javascript
Vue起步(无cli)的啊教程详解
2019/04/11 Javascript
vue接入腾讯防水墙代码
2019/05/07 Javascript
原生js实现点击轮播切换图片
2020/02/11 Javascript
jQuery+ajax实现用户登录验证
2020/09/13 jQuery
[05:05]第三天的dota2
2013/07/29 DOTA
[53:13]2014 DOTA2国际邀请赛中国区预选赛5.21 DT VS LGD-GAMING
2014/05/22 DOTA
python实现ping的方法
2015/07/06 Python
Python使用面向对象方式创建线程实现12306售票系统
2015/12/24 Python
Python编程实现控制cmd命令行显示颜色的方法示例
2017/08/14 Python
Python3.5实现的罗马数字转换成整数功能示例
2019/02/25 Python
Python中类的创建和实例化操作示例
2019/02/27 Python
解决pyqt5中QToolButton无法使用的问题
2019/06/21 Python
python GUI库图形界面开发之PyQt5 MDI(多文档窗口)QMidArea详细使用方法与实例
2020/03/05 Python
Eclipse面试题
2014/03/22 面试题
网站开发实习生的自我评价
2013/12/11 职场文书
商务英语专业大学生职业生涯规划书
2014/09/14 职场文书
“四风”问题自我剖析材料思想汇报
2014/09/23 职场文书
windows下快速安装nginx并配置开机自启动的方法
2021/05/11 Servers
使用Python获取字典键对应值的方法
2022/04/26 Python