Python使用bs4获取58同城城市分类的方法


Posted in Python onJuly 08, 2015

本文实例讲述了Python使用bs4获取58同城城市分类的方法。分享给大家供大家参考。具体如下:

# -*- coding:utf-8 -*-
#! /usr/bin/python
import urllib
import os, datetime, sys
from bs4 import BeautifulSoup
reload(sys) 
sys.setdefaultencoding( "utf-8" ) 
__BASEURL__ = "http://bj.58.com/"
__INITURL__ = "http://bj.58.com/hezu/"
soup=BeautifulSoup(urllib.urlopen(__INITURL__))
lv1Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem')('a',href=True)
f=open('data.txt', 'w')
for element in lv1Elements[1:]:
  f.write((element.get_text() + '\r\n'))
  print element.get_text()
  url = __BASEURL__ + element.get('href')
  print url
  soup=BeautifulSoup(urllib.urlopen(url))
  lv2Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem').find('div', 'subarea').find_all('a')
  texts = [t.get_text() for t in lv2Elements]
  f.write(' '.join(texts) + '\r\n\r\n')
f.close()

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
Python enumerate遍历数组示例应用
Sep 06 Python
Python学习笔记_数据排序方法
May 22 Python
利用Tkinter和matplotlib两种方式画饼状图的实例
Nov 06 Python
利用Python如何实现数据驱动的接口自动化测试
May 11 Python
Python二叉树定义与遍历方法实例分析
May 25 Python
Python使用tkinter库实现文本显示用户输入功能示例
May 30 Python
如何用C代码给Python写扩展库(Cython)
May 17 Python
python字符串Intern机制详解
Jul 01 Python
python 实现list或string按指定分段
Dec 25 Python
自定义Django Form中choicefield下拉菜单选取数据库内容实例
Mar 13 Python
python使用hdfs3模块对hdfs进行操作详解
Jun 06 Python
OpenCV+python实现膨胀和腐蚀的示例
Dec 21 Python
Python实现批量修改文件名实例
Jul 08 #Python
Python查询阿里巴巴关键字排名的方法
Jul 08 #Python
浅谈Python中的闭包
Jul 08 #Python
Python中atexit模块的基本使用示例
Jul 08 #Python
python登录豆瓣并发帖的方法
Jul 08 #Python
python发送HTTP请求的方法小结
Jul 08 #Python
python友情链接检查方法
Jul 08 #Python
You might like
咖啡的化学
2021/03/03 咖啡文化
转换中文日期的PHP程序
2006/10/09 PHP
完美解决dedecms中的[html][/html]和[code][/code]问题
2007/03/20 PHP
php class中public,private,protected的区别以及实例分析
2013/06/18 PHP
一组PHP可逆加密解密算法实例代码
2014/01/21 PHP
php通过asort()给关联数组按照值排序的方法
2015/03/18 PHP
thinkPHP3.2使用RBAC实现权限管理的实现
2019/08/27 PHP
解决laravel上传图片之后,目录有图片,但是访问不到(404)的问题
2019/10/14 PHP
jQuery asp.net 用json格式返回自定义对象
2010/04/07 Javascript
一些实用的jQuery代码片段收集
2011/07/12 Javascript
Jquery Validate 正则表达式实用验证代码大全
2013/08/23 Javascript
jQuery判断元素是否存在的可靠方法
2014/05/06 Javascript
HTML,CSS,JavaScript速查表推荐
2014/12/02 Javascript
利用JavaScript判断浏览器类型及版本
2016/08/23 Javascript
JavaScript基于对象去除数组重复项的方法
2016/10/09 Javascript
详解利用exif.js解决ios手机上传竖拍照片旋转90度问题
2016/11/04 Javascript
详解js的六大数据类型
2016/12/27 Javascript
bootstrap模态框嵌套、tabindex属性、去除阴影的示例代码
2017/10/17 Javascript
基于Vue2.X的路由和钩子函数详解
2018/02/09 Javascript
微信小程序实现城市列表选择
2018/06/05 Javascript
Webpack 4.x搭建react开发环境的方法步骤
2018/08/15 Javascript
详解vue开发中调用微信jssdk的问题
2019/04/16 Javascript
javaScript 实现重复输出给定的字符串的常用方法小结
2020/02/20 Javascript
webstorm建立vue-cli脚手架的傻瓜式教程
2020/09/22 Javascript
Python os模块介绍
2014/11/30 Python
python 获取一个值在某个区间的指定倍数的值方法
2018/11/12 Python
PyQt5 加载图片和文本文件的实例
2019/06/14 Python
Django中的用户身份验证示例详解
2019/08/07 Python
python 两个数据库postgresql对比
2019/10/21 Python
python+Selenium自动化测试——输入,点击操作
2020/03/06 Python
Python爬虫基于lxml解决数据编码乱码问题
2020/07/31 Python
爱尔兰灯和灯具网上商店:Lights.ie
2018/03/26 全球购物
个人自我鉴定范文
2013/10/04 职场文书
中餐厅经理岗位职责
2014/04/11 职场文书
2014社会治安综合治理工作总结
2014/12/04 职场文书
css 中多种边框的实现小窍门
2021/04/07 HTML / CSS