공공API - 기상(종관기상관측) R로 가지고 오기

기상정보를 활용하기 위해서 주로 기상자료개방포털에서 종관기상관측 데이터를 가지고 오긴 했는데 이를 매일 수작업으로 가지고 오다가 보니 오픈 API를 지원하는 것을 알게 되어서 간단하게 짜보았다.

아래 코드는 서울시를 비롯한 주요 광역시의 2018년 이후 기상데이터를 가지고 와서 특정 두 기간(18/12/01 ~ 19/01/07, 19/12/01 ~ 20/01/07) 중 평균기온의 분포를 Box Plot으로 보는 것이다.

업의 특성상 평일과 휴일간의 수치 변동이 큰 관계로 평일과 휴일을 나눠서 보았다. 연휴정보 역시 공공 API를 통해 데이터를 가지고 왔다. 관련된 코드는 xwMOOC에서 확인할 수 있다. 단 그대로 쓸 경우 2010.10.03일이 개천절이면서 동시에 추석이다 보니 레코드가 두 개가 들어 있는 바 이 부분은 정리할 필요가 있다. 아울러 지금은 모르겠는데 데이터를 받을 때 당시에 2020년 연휴정보는 포함이 되어 있지 않아 수작업으로 기입하였다.

참고로 아래 코드를 사용하기 위해서는 기상자료개방포털에서 API Key 발급이 필요하고 최상단과 최하단에 위치한  <code>, </code>를 지워야 한다.

# Library Load
rm(list=ls())
library(tidyverse)
library(httr)
library(rvest)
library(jsonlite)
library(lubridate)
#library(gridExtra)

# Variable Setting
default_url <- "https://data.kma.go.kr/apiData/getData"

getWeatherData <- function(type='json',dataCd = 'ASOS',dateCd = 'DAY',startDt,endDt,stnIds = 108){
  
  flag <- TRUE
  res <- GET(url = default_url,
             query = list(type=type,
                          dataCd = dataCd,
                          dateCd = dateCd,
                          startDt= startDt,
                          endDt =  endDt,
                          stnIds = stnIds,
                          schListCnt = as.numeric(as.Date(as.character(endDt),format='%Y%m%d') - as.Date(as.character(startDt),format='%Y%m%d')) + 1,
                          pageIndex = 1,
                          apiKey = Sys.getenv('WEATHER_D_TOKEN')))
  
  if(flag){
    json <- res %>% content(as = 'text', encoding = 'UTF-8') %>% fromJSON()
    temp_df <- as.data.frame(json$info[4])
    temp_df <- data.table(temp_df[,c('TM',"STN_ID","STN_NM",'MIN_TA','MAX_TA','AVG_TA','SUM_RN','SUM_RN_DUR'),]) # sum_rn 일강수량, min_ta 최저기온, max_ta 최고 기온 
    return(temp_df)
  }else{
    print('데이터가 조회되지 않않습니다. URL 확인 부탁드립니다.')
  } #에러 처리는 우선 적당히 마무리

}

result <- data.table()
stn_list <- c(108,112,133,143,152,156,159)

for(i in 1:length(stn_list)){
  cat('현재 진행하는 지점 번호: ',stn_list[i],"\n")
  temp_df <- getWeatherData(startDt = 20180101, endDt = 20200107, stnIds = stn_list[i])
  result <- rbind(result,temp_df)
  cat('종료\n')
}

#백업 
write.csv(result,"./data/200108_weather.csv",row.names = F)

##### 전처리 ----
names(result)[1] <-  'std_dt'
names(result) <- sapply(names(result),tolower)

result$std_dt <-  ymd(result$std_dt)
result$day <- weekdays(result$std_dt)


holidays <- fread("./data/holiday.csv")
holidays$holiday_dt <- ymd(holidays$holiday_dt)
holidays[,day := NULL,]

holidays[which(duplicated(holidays$holiday_dt))]
holidays <- holidays[holiday_nm != '개천절' & holiday_dt !='2017-10-03',,]
holidays[which(duplicated(holidays$holiday_dt))]


setkey(result,std_dt)
setkey(holidays,holiday_dt)
result <- holidays[result]
names(result)[1] <-  'std_dt'


#휴일 여부 추가 
result$yn_wkday <- ifelse((result$day %in% c('토요일','일요일') | !is.na(result$holiday_nm)),1,0) 
result[format(result$std_dt,"%m-%d") == '05-01','yn_wkday'] <- 1
result <- data.table(result)
result$yn_wkday <-  as.factor(result$yn_wkday)
result$yn_wkday <- ifelse(result$yn_wkday == 1,'휴일','평일')

group_df <- result[between(std_dt,'2018-12-01','2019-01-07') | between(std_dt,'2019-12-01','2020-01-07'),,] 
group_df$group <- ifelse(between(group_df$std_dt,'2018-12-01','2019-01-07'),"전년","올해")
group_df[yn_wkday == '휴일' & group=='올해',,]

group_df %>% ggplot(aes(x=yn_wkday,y=avg_ta,fill=group)) + geom_boxplot(outlier.color = 'red') +
  scale_y_continuous(breaks = seq(-15, 15, by = 1)) + ggtitle("전년 동기 평균 기온 분포(전년: 18/12/01 ~ 19/01/07, 올해: 19/12/01 ~ 20/01/07)") + 
  labs(x='휴일구분',y='평균기온',fill='구분') + theme_bw() + theme(axis.text.x = element_text(angle = 45, hjust = 1),plot.title = element_text(size = 20, face = "bold")) + facet_grid(. ~ stn_nm)

Read more

[책]Reshuffle: Who wins when AI restacks the knowledge economy

[책]Reshuffle: Who wins when AI restacks the knowledge economy

원래는 Amazon에 가서 Personal Knowledge Managment에 관한 책을 사려고 했다. Sketch Your Mind라는 책이었는데, 그 때 이 책 “Reshuffle”을 발견하였다. AI가 어떻게 Knowledge Economy를 흔들 것가? 라는 부제를 훑어보면서 저자가 쓴 다른 책을 보게 되었는데 거기에 내가 좋아했던 책을쓴 저자라는 것을 알게 되었다. 그래서 크게 고민하지 않고 구매를 하고

By Bongho, Lee
[책]올라운드투자, 누군가의 투자일기

[책]올라운드투자, 누군가의 투자일기

“올라운드 투자”라는 제목을 보았을 때는, “올라운드 플레이어”가 생각이 났다. “올라운드”라는 표현을 오랜만에 들어본 까닭이었다. 그럼에도 불구하고 이 책을 고른 것은 저자가 그간 보여준 컨텐츠에 대한 신뢰가 있던 까닭이었다. 컨텐츠를 다양하게 보는 편이지만 깊이가 아주 있지는 않았다. 여기서 깊이라 함은 기존 전문적인 정량적 분석의 내용의 수준을 말하는 것이다.

By Bongho, Lee
내가 놓치고 있던 미래, 먼저 온 미래를 읽고

내가 놓치고 있던 미래, 먼저 온 미래를 읽고

장강명 작가의 책은, 유학시절 읽고 처음이었다. 유학시절 "한국이 싫어서"라는 책은 동기부여가 상당히 되는 책이었다. 한국을 떠나 새로운 정채성을 학생으로서 Build up 해나가고 있던 상황에서 이 책은 제목부터 꽤 솔깃하였다. 물론 결말이 기억날 정도로 인상깊은 책은 아니었지만 말이다. 그렇게 시간이 흘러 장강명 작가의 책은 더 이상 읽지 않던

By Bongho, Lee