详解Python 爬取13个旅游城市,告诉你五一大家最爱去哪玩?


Posted in Python onMay 07, 2019

今年五一放了四天假,很多人不再只是选择周边游,因为时间充裕,选择了稍微远一点的景区,甚至出国游。各个景点成了人山人海,拥挤的人群,甚至去卫生间都要排队半天,那一刻我突然有点理解灭霸的行为了。

今天通过分析去哪儿网部分城市门票售卖情况,简单的分析一下哪些景点比较受欢迎,等下次假期可以做个参考。

抓取数据

详解Python 爬取13个旅游城市,告诉你五一大家最爱去哪玩?

通过请求https://piao.qunar.com/ticket/list.htm?keyword=北京,获取北京地区热门景区信息,再通过BeautifulSoup去分析提取出我们需要的信息。

这里爬取了前4页的景点信息,每页有15个景点。因为去哪儿并没有什么反爬措施,所以直接请求就可以了。

这里随机选择了13个热门城市:北京、上海、成都、三亚、广州、重庆、深圳、西安、杭州、厦门、武汉、大连、苏州。

并将爬取的数据存到了MongoDB数据库 。

爬虫部分完整代码如下:

import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient

class QuNaEr():
  def __init__(self, keyword, page=1):
    self.keyword = keyword
    self.page = page

  def qne_spider(self):
    url = 'https://piao.qunar.com/ticket/list.htm?keyword=%s®ion=&from=mpl_search_suggest&page=%s' % (self.keyword, self.page)
    response = requests.get(url)
    response.encoding = 'utf-8'
    text = response.text
    bs_obj = BeautifulSoup(text, 'html.parser')

    arr = bs_obj.find('div', {'class': 'result_list'}).contents
    for i in arr:
      info = i.attrs
      # 景区名称
      name = info.get('data-sight-name')
      # 地址
      address = info.get('data-address')
      # 近期售票数
      count = info.get('data-sale-count')
      # 经纬度
      point = info.get('data-point')

      # 起始价格
      price = i.find('span', {'class': 'sight_item_price'})
      price = price.find_all('em')
      price = price[0].text

      conn = MongoClient('localhost', port=27017)
      db = conn.QuNaEr # 库
      table = db.qunaer_51 # 表

      table.insert_one({
        'name'   :  name,
        'address'  :  address,
        'count'   :  int(count),
        'point'   :  point,
        'price'   :  float(price),
        'city'   :  self.keyword
      })
if __name__ == '__main__':
  citys = ['北京', '上海', '成都', '三亚', '广州', '重庆', '深圳', '西安', '杭州', '厦门', '武汉', '大连', '苏州']
  for i in citys:
    for page in range(1, 5):
      qne = QuNaEr(i, page=page)
      qne.qne_spider()

效果图如下:

详解Python 爬取13个旅游城市,告诉你五一大家最爱去哪玩?

有了数据,我们就可以分析出自己想要的东西了。

分析数据

1、最受欢迎的15个景区

 详解Python 爬取13个旅游城市,告诉你五一大家最爱去哪玩?

由图可以看出,在选择的13个城市中,最热门的景区为上海的迪士尼乐园。

代码如下:

from pymongo import MongoClient
# 设置字体,不然无法显示中文
from pylab import *

mpl.rcParams['font.sans-serif'] = ['SimHei']

conn = MongoClient('localhost', port=27017)
db = conn.QuNaEr # 库
table = db.qunaer_51 # 表

result = table.find().sort([('count', -1)]).limit(15)
# x,y轴数据
x_arr = [] # 景区名称
y_arr = [] # 销量
for i in result:
  x_arr.append(i['name'])
  y_arr.append(i['count'])

"""
去哪儿月销量排行榜
"""
plt.bar(x_arr, y_arr, color='rgb') # 指定color,不然所有的柱体都会是一个颜色
plt.gcf().autofmt_xdate() # 旋转x轴,避免重叠
plt.xlabel(u'景点名称') # x轴描述信息
plt.ylabel(u'月销量') # y轴描述信息
plt.title(u'拉钩景点月销量统计表') # 指定图表描述信息
plt.ylim(0, 4000) # 指定Y轴的高度
plt.savefig('去哪儿月销售量排行榜') # 保存为图片
plt.show()

 2、景区热力图

这里为了方便,只展示一下北京地区的景区热力图。用到了百度地图的开放平台。首先需要先注册开发者信息,首页底部有个申请秘钥的按钮,点击进行创建就可以了。我的应用类型选择的是浏览器端,因此只需要组装数据替换掉相应html代码即可。另外还需要将自己访问应用的AK替换掉。效果图如下:

详解Python 爬取13个旅游城市,告诉你五一大家最爱去哪玩?

3、景区价格

价格是出游第一个要考虑的,一开始想统计一下各城市的平均价格,但是后来发现效果不是很好,比如北京的刘老根大舞台价格在580元,这样拉高了平均价格。就好比姚明和潘长江的平均身高在190cm,并没有什么说服力。所以索性展示一下景区的价格分布。

根据价格设置了六个区间:

详解Python 爬取13个旅游城市,告诉你五一大家最爱去哪玩?

通过上图得知,大部分的景区门票价格都在200元以下。每次旅游花费基本都在交通、住宿、吃吃喝喝上了。门票占比还是比较少的。

实现代码如下:

arr = [[0, 50], [50,100], [100, 200], [200,300], [300,500], [500,1000]]
name_arr = []
total_arr = []
for i in arr:
  result = table.count({'price': {'$gte': i[0], '$lt': i[1]}})
  name = '%s元 ~ %s元 ' % (i[0], i[1])
  name_arr.append(name)
  total_arr.append(result)

color = 'red', 'orange', 'green', 'blue', 'gray', 'goldenrod' # 各类别颜色
explode = (0.2, 0, 0, 0, 0, 0) # 各类别的偏移半径

# 绘制饼状图
pie = plt.pie(total_arr, colors=color, explode=explode, labels=name_arr, shadow=True, autopct='%1.1f%%')

plt.axis('equal')
plt.title(u'热点旅游景区门票价格比例', fontsize=12)

plt.legend(loc=0, bbox_to_anchor=(0.82, 1)) # 图例
# 设置legend的字体大小
leg = plt.gca().get_legend()
ltext = leg.get_texts()
plt.setp(ltext, fontsize=6)
# 显示图
plt.show()

以上所述是小编给大家介绍的Python 爬取13个旅游城市详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python二分法实现实例
Nov 21 Python
python通过floor函数舍弃小数位的方法
Mar 17 Python
实例Python处理XML文件的方法
Aug 31 Python
Python(Django)项目与Apache的管理交互的方法
May 16 Python
利用pandas读取中文数据集的方法
Jul 25 Python
python 3.7.0 下pillow安装方法
Aug 27 Python
python利用pandas将excel文件转换为txt文件的方法
Oct 23 Python
在python中利用opencv简单做图片比对的方法
Jan 24 Python
树莓派使用USB摄像头和motion实现监控
Jun 22 Python
使用OpenCV circle函数图像上画圆的示例代码
Dec 27 Python
python 如何快速复制序列
Sep 07 Python
python运算符之与用户交互
Apr 13 Python
Scrapy-Redis结合POST请求获取数据的方法示例
May 07 #Python
Python数据类型之Set集合实例详解
May 07 #Python
Python数据类型之Dict字典实例详解
May 07 #Python
Python分支语句与循环语句应用实例分析
May 07 #Python
Python正则表达式实现简易计算器功能示例
May 07 #Python
深入浅析Python 中 is 语法带来的误解
May 07 #Python
利用python如何在前程无忧高效投递简历
May 07 #Python
You might like
php class类的用法详细总结
2013/10/17 PHP
PHP常用操作类之通信数据封装类的实现
2017/07/16 PHP
PHP实现生成模糊图片的方法示例
2017/12/21 PHP
Javascript 判断客户端浏览器类型代码
2010/03/01 Javascript
jquery-easyui关闭tab自动切换到前一个tab
2010/07/29 Javascript
菜鸟学习JavaScript小实验之函数引用
2010/11/17 Javascript
json对象转字符串如何实现
2012/12/02 Javascript
jquery select 设置默认选中的示例代码
2014/02/07 Javascript
PHP PDO操作总结
2014/11/17 Javascript
javascript实现tab切换的四种方法
2015/11/05 Javascript
干货!教大家如何选择Vue和React
2017/03/13 Javascript
JS实现上传图片的三种方法并实现预览图片功能
2017/07/14 Javascript
微信小程序显示下拉列表功能【附源码下载】
2017/12/12 Javascript
详解Angular模板引用变量及其作用域
2018/11/23 Javascript
es6函数name属性功能与用法实例分析
2020/04/18 Javascript
解决vue.js中settimeout遇到的问题(时间参数短效果不稳定)
2020/07/21 Javascript
python实现数据导出到excel的示例--普通格式
2018/05/03 Python
简单了解python变量的作用域
2019/07/30 Python
Django实现文件上传和下载功能
2019/10/06 Python
通过实例解析python创建进程常用方法
2020/06/19 Python
Canvas绘制浮动球效果的示例
2017/12/29 HTML / CSS
安全生产网格化管理实施方案
2014/03/01 职场文书
战略合作意向书范本
2014/04/01 职场文书
安全责任书怎么写
2014/07/28 职场文书
民族学专业职业生涯规划范文:积跬步以至千里
2014/09/11 职场文书
院党委组织查摆问题对照检查材料思想汇报2014
2014/10/08 职场文书
领导欢迎词范文
2015/01/26 职场文书
小学英语新课改心得体会
2016/01/22 职场文书
中学语文教学反思
2016/02/16 职场文书
承诺书的内容有哪些,怎么写?
2019/06/21 职场文书
在Python中如何使用yield
2021/06/07 Python
分析ZooKeeper分布式锁的实现
2021/06/30 Java/Android
JavaScript中MutationObServer监听DOM元素详情
2021/11/27 Javascript
Pillow图像处理库安装及使用
2022/04/12 Python
Oracle数据库事务的开启与结束详解
2022/06/25 Oracle
Spring boot实现上传文件到本地服务器
2022/08/14 Java/Android