首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

python爬虫租房信息在地图上显示的方法

Posted in Python onMay 13, 2019

本人初学python是菜鸟级，写的不好勿喷。

python爬虫用了比较简单的urllib.parse和requests，把爬来的数据显示在地图上。接下里我们话不多说直接上代码:

1.安装python环境和编辑器（自行度娘）

2.本人以58品牌公寓为例，爬取在杭州地区价格在2000-4000的公寓。

#-*- coding:utf-8 -*-
from bs4 import BeautifulSoup
from urllib.parse import urljoin
import requests
import csv
import time

以上是需要引入的模块

url = "http://hz.58.com/pinpaigongyu/pn/{page}/?minprice=2000_4000"
#已完成的页数序号，初时为0
page = 0

以上的全局变量

csv_file = open(r"c:\users\****\Desktop\houoseNew.csv","a+",newline='')
csv_writer = csv.writer(csv_file, delimiter=',')

自定义某个位置来保存爬取得数据，本人把爬取得数据保存为csv格式便于编辑（其中”a+”表示可以多次累加编辑在后面插入数据，建议不要使用“wb”哦！newline=”表示没有隔行）

while True:
  #为了防止网站屏蔽ip，设置了时间定时器每隔5秒爬一下。打完一局农药差不多都爬取过来了。
  time.sleep(5)
  page +=1
  #替换URL中page变量
  print (url.format(page=page)+"ok")
  response = requests.get(url.format(page=page))
  html=BeautifulSoup(response.text)
  #寻找html中DOM节点li
  house_list = html.select(".list > li")

  # 循环在读不到新的房源时结束
  if not house_list:
    break

  for house in house_list:
    #根据hml的DOM节点获取自己需要的数据
    house_title = house.select("h2")[0].string
    house_url = urljoin(url, house.select("a")[0]["href"])
    house_pic = urljoin(url, house.select("img")[0]["lazy_src"])
    house_info_list = house_title.split()

    # 如果第一列是公寓名 则取第二列作为地址
    if "公寓" in house_info_list[0] or "青年社区" in house_info_list[0]:
      house_location = house_info_list[0]
    else:
      house_location = house_info_list[1]

    house_money = house.select(".money")[0].select("b")[0].string
    csv_writer.writerow([house_title, house_location, house_money,house_pic ,house_url])
 #最后不要忘记关闭节流
 csv_file.close()

如果网站屏蔽了你的ip，你可以做一个ip地址数组放在http的头部具体度娘一下吧。

接下来我们写html

只是简单的写了一下写的不好见谅。用的是高德地图，具体的js api可以到高德开发者上去看。

<body>
<div id="container"></div>
<div class="control-panel">
  <div class="control-entry">
    <label>选择工作地点：</label>
    <div class="control-input">
      <input id="work-location" type="text">
    </div>
  </div>
  <div class="control-entry">
    <label>选择通勤方式：</label>
    <div class="control-input">
      <input type="radio" name="vehicle" value="SUBWAY,BUS" onClick="takeBus(this)" checked/> 公交+地铁
      <input type="radio" name="vehicle" value="SUBWAY" onClick="takeSubway(this)"/> 地铁
      <input type="radio" name="vehicle" value="WALK" onClick="takeWalk(this)"/> 走路
      <input type="radio" name="vehicle" value="BIKE" onClick="takeBike(this)"/> 骑车
    </div>
  </div>
  <div class="control-entry">
    <label>导入房源文件：</label>
    <div class="control-input">
      <input type="file" name="file" id="fileCsv"/>
      <button style="margin-top: 10px;width: 50%;" onclick="changeCsv()">开始</button>
    </div>
  </div>
</div>
<div id="transfer-panel"></div>
<script>
  var map = new AMap.Map("container", {
    resizeEnable: true,
    zoomEnable: true,
    center: [120.1256856402492, 30.27289264553506],
    zoom: 12
  });

  //添加标尺
  var scale = new AMap.Scale();
  map.addControl(scale);

  //公交到达圈对象
  var arrivalRange = new AMap.ArrivalRange();
  //经度，纬度，时间（用不到），通勤方式（默认是地铁＋公交+走路+骑车）
  var x, y, t, vehicle = "SUBWAY,BUS";
  //工作地点，工作标记
  var workAddress, workMarker;
  //房源标记队列
  var rentMarkerArray = [];
  //多边形队列，存储公交到达的计算结果
  var polygonArray = [];
  //路径规划
  var amapTransfer;

  //信息窗体对象
  var infoWindow = new AMap.InfoWindow({
    offset: new AMap.Pixel(0, -30)
  });

  //地址补完的使用
  var auto = new AMap.Autocomplete({
    //通过id指定输入元素
    input: "work-location"
  });
  //添加事件监听，在选择补完的地址后调用workLocationSelected
  AMap.event.addListener(auto, "select", workLocationSelected);


  function takeBus(radio) {
    vehicle = radio.value;
    loadWorkLocation()
  }

  function takeSubway(radio) {
    vehicle = radio.value;
    loadWorkLocation()
  }
  function takeWalk(radio){
    vehicle = radio.value;
    loadWorkLocation()
  }
  function takeBike(radio) {
    vehicle = radio.value;
    loadWorkLocation()
  }
  //获取加载的文件
  function changeCsv() {
    $("#fileCsv").csv2arr(function (res) {
      $.each(res, function (k, p) {
        if (res[k][1]) {
          //addMarkerByAddress(地址，价格，展示的图片)
          addMarkerByAddress(res[k][1], res[k][2],res[k][3])
        }
      })
    });
  }

  function workLocationSelected(e) {
    workAddress = e.poi.name;
    loadWorkLocation();
  }

  function loadWorkMarker(x, y, locationName) {
    workMarker = new AMap.Marker({
      map: map,
      title: locationName,
      icon: 'http://webapi.amap.com/theme/v1.3/markers/n/mark_r.png',
      position: [x, y]

    });
  }


  function loadWorkRange(x, y, t, color, v) {
    arrivalRange.search([x, y], t, function (status, result) {
      if (result.bounds) {
        for (var i = 0; i < result.bounds.length; i++) {
          //新建多边形对象
          var polygon = new AMap.Polygon({
            map: map,
            fillColor: color,
            fillOpacity: "0.4",
            strokeColor: color,
            strokeOpacity: "0.8",
            strokeWeight: 1
          });
          //得到到达圈的多边形路径
          polygon.setPath(result.bounds[i]);
          polygonArray.push(polygon);
        }
      }
    }, {
      policy: v
    });
  }

  function addMarkerByAddress(address, money,imgUrl) {
    var geocoder = new AMap.Geocoder({
      city: "杭州",
      radius: 1000
    });
    geocoder.getLocation(address, function (status, result) {
      var iconValue = "";
      var _money=money;
      if (money.indexOf("-") > -1) {
        _money = money.split("-")[1];
      }
      //如果价格高于3000元/月在地图上显示红色，低于的话显示蓝色
      if (parseFloat(_money) > 3000) {
        iconValue="http://webapi.amap.com/theme/v1.3/markers/n/mark_r.png";
      }else{
        iconValue = "http://webapi.amap.com/theme/v1.3/markers/n/mark_b.png";
      }
      if (status === "complete" && result.info === 'OK') {
        var geocode = result.geocodes[0];
        rentMarker = new AMap.Marker({
          map: map,
          title: address,
          icon:iconValue,
          animation:"AMAP_ANIMATION_DROP",
          position: [geocode.location.getLng(), geocode.location.getLat()]
        })
        ;
        rentMarkerArray.push(rentMarker);
        //鼠标点击标记显示相应的内容
        rentMarker.content = "<img src='"+imgUrl+"'/><div>房源：<a target = '_blank' href='http://bj.58.com/pinpaigongyu/?key=" + address + "'>" + address + "</a><p>价格:"+money+"</p><div>"
        rentMarker.on('click', function (e) {
          infoWindow.setContent(e.target.content);
          infoWindow.open(map, e.target.getPosition());
          if (amapTransfer) amapTransfer.clear();
          amapTransfer = new AMap.Transfer({
            map: map,
            policy: AMap.TransferPolicy.LEAST_TIME,
            city: "杭州市",
            panel: 'transfer-panel'
          });
          amapTransfer.search([{
            keyword: workAddress
          }, {
            keyword: address
          }], function (status, result) {
          })
        });
      }
    })
  }

  function delWorkLocation() {
    if (polygonArray) map.remove(polygonArray);
    if (workMarker) map.remove(workMarker);
    polygonArray = [];
  }

  function delRentLocation() {
    if (rentMarkerArray) map.remove(rentMarkerArray);
    rentMarkerArray = [];
  }

  function loadWorkLocation() {
    //首先清空地图上已有的到达圈
    delWorkLocation();
    var geocoder = new AMap.Geocoder({
      city: "杭州",
      radius: 1000
    });

    geocoder.getLocation(workAddress, function (status, result) {
      if (status === "complete" && result.info === 'OK') {
        var geocode = result.geocodes[0];
        x = geocode.location.getLng();
        y = geocode.location.getLat();
        //加载工作地点标记
        loadWorkMarker(x, y);
        //加载60分钟内工作地点到达圈
        loadWorkRange(x, y, 60, "#3f67a5", vehicle);
        //地图移动到工作地点的位置
        map.setZoomAndCenter(12, [x, y]);
      }
    })
  }
</script>
</body>

想要获取完整的代码github：https://github.com/DIVIBEAR/pythonDemo.git
新手上路，老司机们勿喷！

python爬虫租房信息在地图上显示的方法

以上所述是小编给大家介绍的python爬虫租房信息在地图上显示的方法详解整合，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持！

python爬虫租房信息在地图上显示的方法

- Author -

DIVI_ZHANG

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
Python打印斐波拉契数列实例
Jul 07 Python
Python3.6正式版新特性预览
Dec 15 Python
Python入门_浅谈字符串的分片与索引、字符串的方法
May 16 Python
python+opencv实现动态物体追踪
Jan 09 Python
Python 实现中值滤波、均值滤波的方法
Jan 09 Python
python的内存管理和垃圾回收机制详解
May 18 Python
Python使用get_text()方法从大段html中提取文本的实例
Aug 27 Python
python实现猜拳游戏
Mar 04 Python
python3通过qq邮箱发送邮件以及附件
May 20 Python
python实现快速文件格式批量转换的方法
Oct 16 Python
python3从网络摄像机解析mjpeg http流的示例
Nov 13 Python
pandas按条件筛选数据的实现
Feb 20 Python
详解如何设置Python环境变量？
May 13 #Python
详解python运行三种方式
May 13 #Python
OpenCV图像颜色反转算法详解
May 13 #Python
搞清楚 Python traceback的具体使用方法
May 13 #Python
Python3+OpenCV2实现图像的几何变换(平移、镜像、缩放、旋转、仿射)
May 13 #Python
Python 通过打码平台实现验证码的实现
May 13 #Python
利用python和百度地图API实现数据地图标注的方法
May 13 #Python
Flask Web(1) nacos(1) OpenAI baselines(1) 面向接口(1) cv2(1) exec(1) seata(1) Android Studio(4) MyBatis(5) OpenGL(1)
You might like
php生成局部唯一识别码LUID的代码
2012/10/06 PHP
Drupal7连接多个数据库及常见问题解决
2014/03/02 PHP
kohana框架上传文件验证规则写法示例
2014/07/14 PHP
PHP实现的Redis多库选择功能单例类
2017/07/27 PHP
PHP ADODB生成HTML表格函数rs2html功能【附错误处理函数用法】
2018/05/29 PHP
JavaScript NodeTree导航栏(菜单项JSON类型/自制)
2013/02/01 Javascript
Bootstrap每天必学之前端开发框架
2015/11/19 Javascript
微信js-sdk分享功能接口常用逻辑封装示例
2016/10/13 Javascript
js导出excel文件的简洁方法(推荐)
2016/11/02 Javascript
angularjs中使用ng-bind-html和ng-include的实例
2017/04/28 Javascript
vue使用vue-cli快速创建工程
2017/07/28 Javascript
浅谈vue路径优化之resolve
2017/10/13 Javascript
vue实现一拉到底的滑动验证
2019/07/25 Javascript
js实现单元格拖拽效果
2020/02/10 Javascript
vantUI 获得piker选中值的自定义ID操作
2020/11/04 Javascript
[03:22]DAC最前线（第二期）—DOTA2亚洲邀请赛主赛场周边及线路探访
2015/01/24 DOTA
python通过BF算法实现关键词匹配的方法
2015/03/13 Python
python生成随机mac地址的方法
2015/03/16 Python
Python爬虫之模拟知乎登录的方法教程
2017/05/25 Python
详解python之多进程和进程池(Processing库)
2017/06/09 Python
django2.0扩展用户字段示例
2019/02/13 Python
django admin 根据choice字段选择的不同来显示不同的页面方式
2020/05/13 Python
python初步实现word2vec操作
2020/06/09 Python
Python 爬虫性能相关总结
2020/08/03 Python
美国在线咖啡、茶和餐厅供应商：LollicupStore
2018/05/04 全球购物
一个J2EE项目团队的主要人员组成是什么
2012/06/04 面试题
副董事长岗位职责
2014/04/02 职场文书
环保倡议书范文
2014/05/12 职场文书
人事行政经理岗位职责
2014/06/18 职场文书
2014年幼儿园园长工作总结
2014/12/17 职场文书
北京颐和园导游词
2015/01/30 职场文书
讲座通知范文
2015/04/23 职场文书
幼儿园大班教学反思
2016/03/02 职场文书
创业计划书之韩国烧烤店
2019/09/19 职场文书
一文带你探究MySQL中的NULL
2021/11/11 MySQL
【海涛dota解说】海涛小满开黑4v5被破两路翻盘潮汐第一视角解说
2022/04/01 DOTA