Python使用bs4获取58同城城市分类的方法


Posted in Python onJuly 08, 2015

本文实例讲述了Python使用bs4获取58同城城市分类的方法。分享给大家供大家参考。具体如下:

# -*- coding:utf-8 -*-
#! /usr/bin/python
import urllib
import os, datetime, sys
from bs4 import BeautifulSoup
reload(sys) 
sys.setdefaultencoding( "utf-8" ) 
__BASEURL__ = "http://bj.58.com/"
__INITURL__ = "http://bj.58.com/hezu/"
soup=BeautifulSoup(urllib.urlopen(__INITURL__))
lv1Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem')('a',href=True)
f=open('data.txt', 'w')
for element in lv1Elements[1:]:
  f.write((element.get_text() + '\r\n'))
  print element.get_text()
  url = __BASEURL__ + element.get('href')
  print url
  soup=BeautifulSoup(urllib.urlopen(url))
  lv2Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem').find('div', 'subarea').find_all('a')
  texts = [t.get_text() for t in lv2Elements]
  f.write(' '.join(texts) + '\r\n\r\n')
f.close()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
win7 下搭建sublime的python开发环境的配置方法
Jun 18 Python
python之wxPython应用实例
Sep 28 Python
安装Python的教程-Windows
Jul 22 Python
Python元组操作实例分析【创建、赋值、更新、删除等】
Jul 24 Python
Python3 伪装浏览器的方法示例
Nov 23 Python
Python实现采用进度条实时显示处理进度的方法
Dec 19 Python
Python Matplotlib 基于networkx画关系网络图
Jul 10 Python
解决Pytorch 训练与测试时爆显存(out of memory)的问题
Aug 20 Python
阿里云ECS服务器部署django的方法
Aug 29 Python
Python tkinter模版代码实例
Feb 05 Python
Python 面向对象部分知识点小结
Mar 09 Python
用60行代码实现Python自动抢微信红包
Feb 04 Python
Python实现批量修改文件名实例
Jul 08 #Python
Python查询阿里巴巴关键字排名的方法
Jul 08 #Python
浅谈Python中的闭包
Jul 08 #Python
Python中atexit模块的基本使用示例
Jul 08 #Python
python登录豆瓣并发帖的方法
Jul 08 #Python
python发送HTTP请求的方法小结
Jul 08 #Python
python友情链接检查方法
Jul 08 #Python
You might like
php foreach循环中使用引用的问题
2013/11/06 PHP
详解PHP实现异步调用的4种方法
2016/03/14 PHP
myEvent.js javascript跨浏览器事件框架
2011/10/24 Javascript
现如今最流行的JavaScript代码规范
2014/03/08 Javascript
JS遍历Json字符串中键值对先转成JSON对象再遍历
2014/08/15 Javascript
jquery实现从数组移除指定的值
2015/06/24 Javascript
node.js读取文件到字符串的方法
2015/06/29 Javascript
如何使用jQuery技术开发ios风格的页面导航菜单
2015/07/29 Javascript
两款JS脚本判断手机浏览器类型跳转WAP手机网站
2015/10/16 Javascript
分享12个非常实用的JavaScript小技巧
2016/05/11 Javascript
vue2.0+webpack环境的构造过程
2016/11/08 Javascript
深入理解Angular中的依赖注入
2017/06/26 Javascript
JavaScript 程序错误Cannot use 'in' operator to search的解决方法
2017/07/10 Javascript
Vue.js上下滚动加载组件的实例代码
2017/07/17 Javascript
浅谈Vue内置component组件的应用场景
2018/03/27 Javascript
node 命令方式启动修改端口的方法
2018/05/12 Javascript
浅谈让你的代码更简短,更整洁,更易读的ES6小技巧
2018/10/25 Javascript
详解mpvue中小程序自定义导航组件开发指南
2019/02/11 Javascript
基于Vue实现的多条件筛选功能的详解(类似京东和淘宝功能)
2019/05/07 Javascript
Vue防止白屏添加首屏动画的实例
2019/10/31 Javascript
Python FTP操作类代码分享
2014/05/13 Python
python学习之面向对象【入门初级篇】
2017/01/21 Python
Python3连接SQLServer、Oracle、MySql的方法
2018/06/28 Python
Python实现Dijkstra算法
2018/10/17 Python
搞清楚 Python traceback的具体使用方法
2019/05/13 Python
Python TCPServer 多线程多客户端通信的实现
2019/12/31 Python
基于Pytorch SSD模型分析
2020/02/18 Python
python 使用多线程创建一个Buffer缓存器的实现思路
2020/07/02 Python
html5实现输入框fixed定位在屏幕最底部兼容性
2020/07/03 HTML / CSS
有原因的手表:Flex Watches
2019/03/23 全球购物
英国领先的在线礼品店:Getting Personal
2019/09/24 全球购物
介绍JAVA 中的Collection FrameWork(及如何写自己的数据结构)
2014/10/31 面试题
公司年会晚宴演讲稿
2014/01/06 职场文书
学校联谊活动方案
2014/02/15 职场文书
2015商场元旦促销活动策划方案
2014/12/09 职场文书
考试作弊检讨书
2015/01/27 职场文书