통계청 음식서비스 및 전자쿠폰 거래액 데이터 수집하기

올해 초 선물하기 서비스 및 음식서비스 시장 성장 추이를 확인하기 위해서 작성했던 코드.

통계청의 예측보다 빨리 성장하고 있지만, 빨리 성장하고 있다는 것은 돌려 말하면 속도가 느려질 일이 남아 있다는 것이기 때문에 추세추종의 원칙을 잘 인지하면서 Soft-Landing을 할 수 있도록 노력해야 겠다.

library(tidyverse)
library(httr)
library(rvest)
library(jsonlite)
library(data.table)

default_url <- 'http://kosis.kr/openapi/statisticsData.do'
before_apikey_url <- '?method=getList&apiKey='
after_apikey_url <- '&format=json&jsonVD=Y&userStatsId=sensui/101/DT_1KE10041/2/1/'
search_period_header <- '&prdSe=M&newEstPrdCnt=100'

e_coupon_market_url <- str_c(default_url,before_apikey_url,Sys.getenv('KOSIS_API_KEY'),after_apikey_url,'20200330144016_1',search_period_header)
food_service_market_url <- str_c(default_url,before_apikey_url,Sys.getenv('KOSIS_API_KEY'),after_apikey_url,'20200330144016_2',search_period_header)
 
데이터추출 
e_coupon_market_res <- GET(e_coupon_market_url) #명목
print(e_coupon_market_res)

food_service_market_res <- GET(food_service_market_url) #명목
print(food_service_market_res)

#데이터 변환
e_coupon_market_json <- e_coupon_market_res %>% content(as = 'text', encoding = 'UTF-8') %>% fromJSON() 
food_service_market_json <- food_service_market_res %>% content(as = 'text', encoding = 'UTF-8') %>% fromJSON()


e_coupon_market <- e_coupon_market_json %>% data.table() 
food_service_market <- food_service_market_json %>% data.table()


write.csv(e_coupon_market,'통계청 온라인쇼핑몰 상품 중 전자쿠폰 거래액 추이.csv',row.names = F)
write.csv(food_service_market,'통계청 온라인쇼핑몰 상품 중 음식서비스 거래액 추이.csv',row.names = F)

Read more

OLS 기반 인과추론 시 오차항 관련 체크 필요 가정

OLS 기반 인과추론 시 오차항 관련 체크 필요 가정

배경 * 아래 글을 DANBI에서 보다가 더 알아보게 되었습니다. OLS를 떠받치는 몇 개의 기둥이 있는데 그중 실용적으로 가장 중요한 것이 일치성(consistency)다. 쉽게 말해서 OLS를 통해 도출된 추정량이 있을 때 샘플사이즈가 커지면서 이 값이 참 값으로 접근한다는 것이다. 일치성이 충족되면 우리는 적당하게 큰 표본에 대해서 추정치가 좋은 속성을 지니고 있다고

인공지능이 문제가 아니라 결국 사람이 문제가 될 것입니다.

인공지능이 문제가 아니라 결국 사람이 문제가 될 것입니다.

사람들이 AI가 필요하다고 생각하는 시점 저 판사를 얼른 AI로 교체해야 한다. 유튜브에서 뉴스를 보다 보면 정말 많이 보이는 덧글입니다. 이러한 내용의 덧글이 달릴 때마다, 정말 많은 사람들이 공감을 표하곤 합니다. 왜 이렇게 사람들은 이러한 주장에 공감을 표하는 것일까? AI는 시킨대로 하기 때문에 공정하다는 인식 여러 이유가 있겠지만, 사람들은 아마 AI가

BG/NBD 모델은 고객 생애가치를 추정하는데 사용되는 확률 모델입니다.

BG/NBD 모델은 고객 생애가치를 추정하는데 사용되는 확률 모델입니다.

1. BG/NBD 모델이란? * BG/NBD(Beta-Geometric/Negative Binomial Distribution) 모델은 **고객의 생애 가치(Customer Lifetime Value, CLV)**를 추정하는 데 사용되는 확률적 모델입니다. * 특히 고객이 반복 구매를 할지, 아니면 더 이상 활동하지 않을지를 추정하는 데 유용합니다. 이 모델은 고객의 구매 행태를 두 가지 중요한 개념으로 나눕니다: * 고객은 활성(active)

다중공선성은 잘못된 인과추론 결과를 만들어낼 수 있습니다.

다중공선성은 잘못된 인과추론 결과를 만들어낼 수 있습니다.

다중공선성(Multi Collinearity) * **Multi-Collinearity(다중공선성)**는 독립 변수들 간의 강한 상관관계가 존재할 때 발생합니다. 즉, 한 독립 변수가 다른 독립 변수에 의해 설명될 수 있을 정도로 상관관계가 높은 상황을 의미합니다. * 이 문제는 주로 회귀 분석에서 나타나며, 변수들 간의 관계를 해석하는 데 있어 큰 장애물이 될 수 있습니다. * 일반적인 회귀식을 $Y=