基于手机信令的大数据分析教程(一)—— 数据导入数据库

前言

该套教程以一个初学大数据的菜鸟视角,编写数据分析处理的整套流程。写得较为详(luo)细(suo),希望适用于任何城乡规划大数据的初学者。持续更新中,若有错误,望指正!

1、任务总纲

(1)职住数据导入数据库,用SQL语句进行处理数据

(2)GIS连接数据库,数据处理后进行可视化分析,得到基于区县和街道层面的人口分布图、就业岗位分布图和职住比分布图

(3)职住OD分析,得到基于中区(街道层面)和大区(区县层面)的OD期望线

(4)用POI制作核密度和网格密度图

(5)利用Adobe Illustrator的插件美化GIS出图

(6)计算每个街道的平均通勤距离

(7)Tableau 软件连接数据库,绘制距离分布衰减的柱状图

2、材料准备

这里以西安为例,获得的资料为:
西安的区县和街道分区shp、西安的手机基站分布点shp、西安十分之一职住数据csv、西安POI

3、涉及软件

·pgAdmin III(我们所用的数据库PostgreSQL)
· Navicat Premium(数据库管理工具)
·Qgis3.4或PostGIS 2.0(导入shapefile)
·ArcGIS 10.5
·Avenza MAPublisher(AI插件,美化GIS出图)
·Tableau 10.5(可视化图表)

《基于手机信令的大数据分析教程(一)—— 数据导入数据库》 涉及的软件

——————————————————————————————
下面正式开始教程keke~
本节重点:使用Navicat新建连接和数据库,利用SQL语句新建并导入表

数据导入数据库

下图为已经识别出来的西安职住数据,0代表未识别出居住地或工作地

《基于手机信令的大数据分析教程(一)—— 数据导入数据库》 十分之一职住数据

该表格为csv UTF8(逗号分隔)格式
注意数据存储的整条路径不能出现中文,否则导入数据库后会发生错误!

《基于手机信令的大数据分析教程(一)—— 数据导入数据库》 QQ截图20181123113314.png

打开Navicat——文件——新建连接——PostgreSQL
设定连接名,这里用的本地连接(localhost),密码是一开始安装时自己设定的密码

《基于手机信令的大数据分析教程(一)—— 数据导入数据库》 QQ截图20181123110352.png
《基于手机信令的大数据分析教程(一)—— 数据导入数据库》 QQ截图20181123110423.png

在新建连接上右键——新建数据库,其中编码选择UTF8
注意不要用默认的postgres数据库,不然GIS可能连接不上

《基于手机信令的大数据分析教程(一)—— 数据导入数据库》 QQ截图20181123111206.png
《基于手机信令的大数据分析教程(一)—— 数据导入数据库》 QQ截图20181123111242.png

在“查询”界面中输入新建表和导入数据的SQL命令,将之前csv表格的数据导入
注意每个字段的数据类型
其中with csv HEADER表示之前csv表中的表头

create table xian_homework2 (home varchar(50), work varchar(50), sum int);
COPY xian_homework2 FROM 'E:\data\xianhw2.csv'  with csv HEADER

《基于手机信令的大数据分析教程(一)—— 数据导入数据库》 QQ截图20190105190331.png

成功后可以将该查询语句保存下来

《基于手机信令的大数据分析教程(一)—— 数据导入数据库》 QQ截图20181123193310.png

关于建表和导入导出数据的语句,详见施老师的教程:
https://www.jianshu.com/p/5ab5dc112ca3

    原文作者:LINDADADADA
    原文地址: https://www.jianshu.com/p/5d4e553d5e05
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞