[Linux] 파일 병합시 최종 파일 사이즈 증가 이슈 관련

SSL 인증서 작업 중에 발생한 일이었다. SCP를 이용해서 인증서파일을 서버로 옮겼다.  그리고 Zero SSL 인증서를 NGINX에 설치하기 위해서 두개의 파일을 병합하기 위해 다음 명령어를 실행하였다.

$ cat certificate.crt ca_bundle.crt >> certificate.crt

그런데 certificate.crt 용량이 끝 없이 GB단위로 커지기 시작하였다. 시스템 디스크 용량이 가득차버려서, 빠르게 중단시키고 다른 데스크탑으로 파일을 옮겨서 테스트를 해보니 동일하게 현상이 발견하였다. Source  파일 두개를 합쳐도 5 kb인데, 40GB크기의  Destination File이 생성되었다.

문제는 우선 다음과 같이 최종 파일을 기존파일 대신 새 파일을 만드는 형태로 해서 해결하였다. 이후에 어디에 이 이슈를 리포팅해야할지는 확인해봐야겠지만, 우선 문제 해결이 중요했기 때문에 다음과 같이 해결하였다.

$ cat certificate.crt ca_bundle.crt >> certificate2.crt

Read more

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

Pandera: 데이터프레임 검증에 최적화된 도구 주요 장점 * Pandas와 통합: Pandas 데이터프레임에 대해 스키마 기반 검증을 수행합니다. * 유연한 검증 조건: 열 데이터 타입, 값 범위, Null 여부 등 다양한 검증 조건을 정의할 수 있습니다. * 명확한 오류 메시지: 스키마 불일치에 대한 명확한 오류 메시지를 제공합니다. 단점 * 대용량 데이터 검증에서는 속도가 느릴 수

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression * Tobit 회귀(Tobit Regression)는 종속 변수가 특정 값에서 절단(Censored)된 상황에서 데이터를 분석하기 위해 사용되는 통계 기법입니다. * James Tobin이 처음 제안한 이 모델은 경제학과 사회과학 분야에서 자주 사용되며, 일반 선형 회귀로는 설명할 수 없는 상황에서 효과적으로 적용할 수 있습니다. Tobit Regression 수식 1. 관측된 종속 변수