Python实现的北京积分落户数据分析示例


Posted in Python onMarch 27, 2020

本文实例讲述了Python实现的北京积分落户数据分析。分享给大家供大家参考,具体如下:

北京积分落户状况 获取数据(爬虫/文件下载)—> 分析 (维度—指标)
  1. 从公司维度分析不同公司对落户人数指标的影响 , 即什么公司落户人数最多也更容易落户
  2. 从年龄维度分析不同年龄段对落户人数指标影响 , 即什么年龄段落户人数最多也更容易落户
  3. 从百家姓维度分析不同姓对落户人数的指标影响 , 即什么姓的落户人数最多即也更容易落户
  4. 不同分数段的占比情况
# 导入库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib import font_manager
#读取数据(文件) , 并查看数据相应结构和格式
lh_data = pd.read_csv('./bj_luohu.csv',index_col='id',usecols=(0,1,2,3,4))
lh_data.describe()

Python实现的北京积分落户数据分析示例

# 1. 公司维度---人数指标
# 对公司进行分组聚合 , 并查看分数的相关数据 (个数 , 总分数 , 平均分 , 人数占比)
group_company = lh_data.groupby('company',as_index=False)['score'].agg(['count','sum','mean']).sort_values('count',ascending=False)
#更改列名称
group_company.rename(columns={'count':'people_num','sum':'score_sum','mean':'score_mean'},inplace=True)
#定一个函数 , 得到占比
def num_percent(people_num=1,people_sum=1):
  return str('%.2f'%(people_num / people_sum * 100))+'%'
#增加一个占比列
group_company['people_percent'] = group_company['people_num'].apply(num_percent,people_sum=lh_data['name'].count())
#查看只有一个人落户的公司 布尔索引
group_company[group_company['people_num'] == 1]
group_company.head(10)

Python实现的北京积分落户数据分析示例

# 2.年龄维度----人数指标
#将出生年月转为年龄
lh_data['age'] = (pd.to_datetime('2019-09') - pd.to_datetime(lh_data['birthday'])) / pd.Timedelta('365 days')
# 分桶
lh_data.describe()
bins_age = pd.cut(lh_data['age'],bins=np.arange(30,70,5))
bins_age_group = lh_data['age'].groupby(bins_age).count()
bins_age_group.index = [str(i.left) + '~' + str(i.right) for i in bins_age_group.index]
bins_age_group.plot(kind='bar',alpha=1,rot=60,grid=0.2)

Python实现的北京积分落户数据分析示例

# 3. 姓维度----人数指标
# 增加姓列
#定义一个函数 得到姓名的姓
def get_fname(name):
  if len(str(name)) <= 3:
    return str(name[0])
  else:
    return str(name[0:2])
lh_data['fname'] = lh_data['name'].apply(get_fname)
# 对姓进行分组
group_fname = lh_data.groupby('fname')['score'].agg(['count','sum','mean']).sort_values('count',ascending=False)
# 更改列名称
group_fname.rename(columns={'count':'people_num','sum':'people_sum','mean':'score_mean'},inplace=True)
# 增加占比列
group_fname['people_percent'] = group_fname['people_num'].apply(num_percent,people_sum=lh_data['name'].count())
group_fname.head(10)

Python实现的北京积分落户数据分析示例

# 4. 查看分数段占比 
# 分桶 将分数划分为一个个的区间
bins_score = pd.cut(lh_data['score'],np.arange(90,130,5))
# 将分数装入对应的桶里
bins_score_group = lh_data['score'].groupby(bins_score).count()
# 更改索引显示格式
bins_score_group.index = [str(i.left)+'~'+str(i.right) for i in bins_score_group.index]
bins_score_group.plot(kind='bar',alpha=1,rot=60,grid=0.2,title='score-people_num',colormap='RdBu_r')

Python实现的北京积分落户数据分析示例

总结
1.pandas的绘图方法不够灵活 , 功能也不够强大 , 最好还是使用matplotlib绘图
2.记住数据分析最重要的两个方法 分组: groupby() 和 分桶:cut() , 前者一般用于离散的数据(姓,公司) , 后者用于连续数据 (年龄段,分数段)

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
使用Python编写简单的画图板程序的示例教程
Dec 08 Python
TensorFlow安装及jupyter notebook配置方法
Sep 08 Python
解决python3中自定义wsgi函数,make_server函数报错的问题
Nov 21 Python
django admin 后台实现三级联动的示例代码
Jun 22 Python
python从子线程中获得返回值的方法
Jan 30 Python
Python获取基金网站网页内容、使用BeautifulSoup库分析html操作示例
Jun 04 Python
树莓派+摄像头实现对移动物体的检测
Jun 22 Python
Python 占位符的使用方法详解
Jul 10 Python
python调用webservice接口的实现
Jul 12 Python
pytorch如何冻结某层参数的实现
Jan 10 Python
django API 中接口的互相调用实例
Apr 01 Python
python小白学习包管理器pip安装
Jun 09 Python
Pyspark获取并处理RDD数据代码实例
Mar 27 #Python
Python Django中的STATIC_URL 设置和使用方式
Mar 27 #Python
Python爬虫爬取、解析数据操作示例
Mar 27 #Python
python opencv进行图像拼接
Mar 27 #Python
Python爬虫爬取电影票房数据及图表展示操作示例
Mar 27 #Python
Pyspark读取parquet数据过程解析
Mar 27 #Python
Python基于pyecharts实现关联图绘制
Mar 27 #Python
You might like
php 信息采集程序代码
2009/03/17 PHP
PHP中isset、empty的用法与区别示例详解
2020/11/05 PHP
国外的为初学者写的JavaScript教程
2008/06/09 Javascript
30分钟就入门的正则表达式基础教程
2013/02/25 Javascript
JS实现拖动示例代码
2013/11/01 Javascript
浅析JavaScript基本类型与引用类型
2014/05/28 Javascript
js实现控制textarea输入字符串的个数,鼠标按下抬起判断输入字符数
2016/10/25 Javascript
使用Angular.js实现简单的购物车功能
2016/11/21 Javascript
js获取浏览器的各种属性
2017/04/27 Javascript
微信小程序实现tab和swiper切换结合效果
2020/07/17 Javascript
php 解压zip压缩包内容到指定目录的实例
2018/01/23 Javascript
移动端自适应flexible.js的使用方法(不用三大框架,仅写一个单html页面使用)推荐
2019/04/02 Javascript
在VUE中实现文件下载并判断状态的方法
2019/11/08 Javascript
vue-calendar-component 封装多日期选择组件的实例代码
2020/12/04 Vue.js
[50:59]2018DOTA2亚洲邀请赛 4.7 总决赛 LGD vs Mineski第四场
2018/04/10 DOTA
[01:11:46]DOTA2-DPC中国联赛 正赛 iG vs Magma BO3 第一场 2月23日
2021/03/11 DOTA
python 文件操作api(文件操作函数)
2016/08/28 Python
Python搭建HTTP服务器和FTP服务器
2017/03/09 Python
Python执行时间的计算方法小结
2017/03/17 Python
获取python文件扩展名和文件名方法
2018/02/02 Python
Python走楼梯问题解决方法示例
2018/07/25 Python
pycharm恢复默认设置或者是替换pycharm的解释器实例
2018/10/29 Python
Django 实现对已存在的model进行更改
2020/03/28 Python
快速了解Python开发环境Spyder
2020/06/29 Python
使用CSS实现弹性视频html5案例实践
2012/12/26 HTML / CSS
HTML5 拖放功能实现代码
2016/07/14 HTML / CSS
一个基于canvas的移动端图片编辑器的实现
2020/10/28 HTML / CSS
.NET现在共支持多少种语言
2014/02/26 面试题
优质护理服务演讲稿
2014/05/07 职场文书
后勤管理员岗位职责
2014/08/27 职场文书
工程资料员岗位职责
2015/04/13 职场文书
办公室卫生管理制度
2015/08/04 职场文书
清洁工工作总结
2015/08/11 职场文书
财务年终工作总结大全
2019/06/20 职场文书
Python爬虫基础之爬虫的分类知识总结
2021/05/13 Python
Go中使用gjson来操作JSON数据的实现
2022/08/14 Golang