无锡及各分区天气相互关系探索

2019年4月14日 239次阅读来源: 紫丁香

无锡的天气太反复无常了，一会是太阳高挂，一会是狂风大作、倾盆大雨。这不又被雨淋了，还感冒了，突然间有了想法。每个地级市都由不同城区组成，每个城区有着自己的天气预报，那么地级市的天气预报跟城区的天气预报有啥关系呢？是简单的线性相加，还是某个城区的天气就代表着该地级市之间的关系，以及各城区之间是不是有着某种联系，为此，我特意爬取了无锡天气及各个城区的九月份天气，试图探索它们之间的关系。

（1）数据获取

利用自己编写的爬虫代码，在天气网爬取了相关天气信息，代码如下：

#无锡天气爬取

library(rvest)
library(DT)
url_list<-c('http://lishi.tianqi.com/beitangqu/201709.html','http://lishi.tianqi.com/binhuqu/201709.html','http://lishi.tianqi.com/conganqu/201709.html',
'http://lishi.tianqi.com/huishanqu/201709.html','http://lishi.tianqi.com/jiangyin/201709.html','http://lishi.tianqi.com/nanchangqu/201709.html',
'http://lishi.tianqi.com/wuxi1/201709.html','http://lishi.tianqi.com/xishan/201709.html','http://lishi.tianqi.com/yixing/201709.html')
result<-data.frame(日期=1,最高气温=1,最低气温=1,天气=1,风向=1,风力=1,地区=1)
result<-result[-1,]
for(url in url_list) {
diqu1<-substr(url,regexpr('com/',url)+4,regexpr('/2017',url)-1)
diqu<-rep(diqu1,30)
web<-read_html(url)
ul_list<-web%>%html_nodes('div.tqtongji2')%>%html_children()%>%html_children()%>%html_text()
j=1
for(i in seq(7,length(ul_list),6)) {

riqi[j]<-ul_list[i]
HT[j]<-ul_list[i+1]
LT[j]<-ul_list[i+2]
TQ[j]<-ul_list[i+3]
fengxiang[j]<-ul_list[i+4]
fengli[j]<-ul_list[i+5]
j=j+1


}
result1<-data.frame(日期=riqi,最高气温=HT,最低气温=LT,天气=TQ,风向=fengxiang,风力=fengli,地区=diqu)
result<-data.frame(rbind(result,result1))

}
DT::datatable(result)
write.csv(result,'wuxiweather.csv')

结果如下所示：

《无锡及各分区天气相互关系探索》

（2）数据清洗与转化

首先我们来看看数据类型：

> str(result)
'data.frame': 270 obs. of 7 variables:
$ 日期 : Factor w/ 30 levels
"2017-09-01","2017-09-02",..: 1 2 3 4 5 6 7 8 9 10 ...
$ 最高气温: Factor
w/ 10 levels "23","24","25",..: 6 7 5 7 9 5 5 7 5
8 ...
$ 最低气温: Factor
w/ 9 levels "17","18","19",..: 5 6 7 8 9 7 5 6 8
7 ...
$ 天气 : Factor w/ 6 levels "多云","雷阵雨",..:
4 1 2 5 1 6 2 1 4 2 ...
$ 风向 : Factor w/ 9 levels "","北风","东北风",..:
4 3 4 4 7 8 5 6 4 9 ...
$ 风力 : Factor w/ 5 levels "1级","2级","3级",..: 2
2 2 1 1 2 1 2 2 2 ...
$ 地区 : Factor w/ 9 levels
"beitangqu","binhuqu",..: 1 1 1 1 1 1 1 1 1 1 ...

总共有270条记录，7个变量，且全部为因子类型，因此需要转换类型。

我们将数据写入到excel中进行处理，处理后结果如下所示：

其中天气进行了替换（0-晴、1-多云、2-阴、3-雷阵雨、4-阵雨、5-中雨）

《无锡及各分区天气相互关系探索》

再次将其导入到Rstudio中，观察整理后的结果

> result2<-read.csv(file.choose())
> str(result2)
'data.frame': 270 obs. of 8 variables:
$
ID : int 1 31 61 91 121 151 182 212 242 2 ...
$ 日期 : Factor w/ 30 levels
"2017/9/1","2017/9/10",..: 1 1 1 1 1 1 1 1 1 12 ...
$ 最高气温:
num 28 28 28 28 28 28 28 28 28 29 ...
$ 最低气温:
num 21 21 21 21 21 21 21 21 21 22 ...
$ 天气 : int 2 2 2 2 2 2 2 2 2 1 ...
$ 风向 : Factor w/ 9 levels "","北风","东北风",..:
4 4 4 4 3 4 4 4 4 3 ...
$ 风力 : int 2 2 2 2 1 2 2 1 2 2 ...
$ 地区 : Factor w/ 9 levels "北塘","滨湖",..:
1 2 3 4 5 6 8 9 7 1 ...
我们首先来观察一下它们的特征，进行初步的分析：
> ggplot(data=result2,aes(x=result2$地区,y=wuxi$最高气温))+geom_boxplot()
>
p<-ggplot(data=result2,aes(x=result2$地区,y=result2$最高气温,color=result2$地区))+geom_boxplot()
> p1<p+ylab("最高气温")+xlab("地区")
> p1<-p+ylab("最高气温")+xlab("地区")
> p1
> p2<-p1+geom_jitter()
> p3<-p2+labs(title="无锡及分区9月最高气温分布")+theme(plot.title
= element_text(hjust = 0.5))
> p3

结果如下图所示：

我们发现宜兴的最高气温分布跟其它的有明显不同，其中位线明显高于其它组，表明宜兴9月份的平均最高气温明显高于其它组，因此，把宜兴先暂定为一组。

《无锡及各分区天气相互关系探索》