Python使用bs4获取58同城城市分类的方法


Posted in Python onJuly 08, 2015

本文实例讲述了Python使用bs4获取58同城城市分类的方法。分享给大家供大家参考。具体如下:

# -*- coding:utf-8 -*-
#! /usr/bin/python
import urllib
import os, datetime, sys
from bs4 import BeautifulSoup
reload(sys) 
sys.setdefaultencoding( "utf-8" ) 
__BASEURL__ = "http://bj.58.com/"
__INITURL__ = "http://bj.58.com/hezu/"
soup=BeautifulSoup(urllib.urlopen(__INITURL__))
lv1Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem')('a',href=True)
f=open('data.txt', 'w')
for element in lv1Elements[1:]:
  f.write((element.get_text() + '\r\n'))
  print element.get_text()
  url = __BASEURL__ + element.get('href')
  print url
  soup=BeautifulSoup(urllib.urlopen(url))
  lv2Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem').find('div', 'subarea').find_all('a')
  texts = [t.get_text() for t in lv2Elements]
  f.write(' '.join(texts) + '\r\n\r\n')
f.close()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python中使用enumerate函数遍历元素实例
Jun 16 Python
Python标准库defaultdict模块使用示例
Apr 28 Python
python中requests和https使用简单示例
Jan 18 Python
python写一个md5解密器示例
Feb 23 Python
Python django使用多进程连接mysql错误的解决方法
Oct 08 Python
20行python代码实现人脸识别
May 05 Python
Django项目之Elasticsearch搜索引擎的实例
Aug 21 Python
Python3 无重复字符的最长子串的实现
Oct 08 Python
django ajax发送post请求的两种方法
Jan 05 Python
python爬虫开发之selenium模块详细使用方法与实例全解
Mar 09 Python
python实现超级玛丽游戏
Mar 18 Python
python torch.utils.data.DataLoader使用方法
Apr 02 Python
Python实现批量修改文件名实例
Jul 08 #Python
Python查询阿里巴巴关键字排名的方法
Jul 08 #Python
浅谈Python中的闭包
Jul 08 #Python
Python中atexit模块的基本使用示例
Jul 08 #Python
python登录豆瓣并发帖的方法
Jul 08 #Python
python发送HTTP请求的方法小结
Jul 08 #Python
python友情链接检查方法
Jul 08 #Python
You might like
php中批量替换文件名的实现代码
2011/07/20 PHP
PHP 在5.1.* 和5.2.*之间 PDO数据库操作中的不同之处小结
2012/03/07 PHP
PHP中对各种加密算法、Hash算法的速度测试对比代码
2014/07/08 PHP
ioncube_loader_win_5.2.dll的错误解决方法
2015/01/04 PHP
php遍历解析xml字符串的方法
2016/05/05 PHP
php array_multisort 对数组进行排序详解及实例代码
2016/10/27 PHP
JQuery 学习笔记 选择器之四
2009/07/23 Javascript
Jquery css函数用法(判断标签是否拥有某属性)
2011/05/28 Javascript
点击弹出层效果&弹出窗口后网页背景变暗效果的实现代码
2014/02/10 Javascript
教你如何使用PHP输出中文JSON字符串
2014/05/22 Javascript
javascript模拟post提交隐藏地址栏的参数
2014/09/03 Javascript
jQuery插件datepicker 日期连续选择
2015/06/12 Javascript
盘点javascript 正则表达式中 中括号的【坑】
2016/03/16 Javascript
各式各样的导航条效果css3结合jquery代码实现
2016/09/17 Javascript
详解nodejs中express搭建权限管理系统
2017/09/15 NodeJs
JS实现去除数组中重复json的方法示例
2017/12/21 Javascript
nodejs实现的连接MySQL数据库功能示例
2018/01/25 NodeJs
Vue异步组件处理路由组件加载状态的解决方案
2018/09/07 Javascript
微信小程序之swiper滑动面板用法示例
2018/12/04 Javascript
vue.js中ref和$refs的使用及示例讲解
2019/08/14 Javascript
vue-cli3跨域配置的简单方法
2019/09/06 Javascript
在vue中使用el-tab-pane v-show/v-if无效的解决
2020/08/03 Javascript
React实现全选功能
2020/08/25 Javascript
[01:20:30]OG vs LGD 2018国际邀请赛淘汰赛BO3 第四场 8.26
2018/08/30 DOTA
python 生成不重复的随机数的代码
2011/05/15 Python
python client使用http post 到server端的代码
2013/02/10 Python
利用pyecharts读取csv并进行数据统计可视化的实现
2020/04/17 Python
Spring @Enable模块驱动原理及使用实例
2020/06/23 Python
Pytorch上下采样函数--interpolate用法
2020/07/07 Python
企业业务员岗位职责
2014/03/14 职场文书
读书月活动方案
2014/05/22 职场文书
2014领导干部四风问题查摆思想汇报
2014/09/13 职场文书
协议书范文
2015/01/27 职场文书
写给纪委的违纪检讨书
2015/05/05 职场文书
Python快速优雅的批量修改Word文档样式
2021/05/20 Python
Python pandas求方差和标准差的方法实例
2021/08/04 Python