[Linux]모든 하위 디렉토리 내 모든 파일을 상위로 이동 후 압축 해제

Background

  • Binance Data 에서 압축파일을 다운로드 하면 최종 zip파일이 존재하는 Directory Depth가 꽤 깊다. 거기에 거래되는 Coin/Token 갯수가 200개 가까이 되다보니 압축을 풀고 관리하기 위해서는, 일괄로 모든 파일을 최상위로 끌어올릴 필요가 있었다.
  • 끌어올린 다음에는 압축을 모두 풀어줄 필요가 있었다.

Solution

  • find로 각각 찾은 결과를 -exec 옵션으로 mv 명령에 Parameter로 던져준다.
  • unzip도 동일하게 find를 사용해서 처리한다. 그렇지 않으면 "caution: filename not matched:" 에러를 보게 된다.

Shell Script

find . -type f -name "*.zip" -exec mv {} ~/Downloads/Archive \;
find . -type f -name "*.zip" -exec unzip {} \;

References

Read more

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

DataFrame은 Pandera로, 모델은 Pydantic으로 데이터를 검증한다.

Pandera: 데이터프레임 검증에 최적화된 도구 주요 장점 * Pandas와 통합: Pandas 데이터프레임에 대해 스키마 기반 검증을 수행합니다. * 유연한 검증 조건: 열 데이터 타입, 값 범위, Null 여부 등 다양한 검증 조건을 정의할 수 있습니다. * 명확한 오류 메시지: 스키마 불일치에 대한 명확한 오류 메시지를 제공합니다. 단점 * 대용량 데이터 검증에서는 속도가 느릴 수

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression은 Censored Data에 적합한 Regression이다.

Tobit Regression * Tobit 회귀(Tobit Regression)는 종속 변수가 특정 값에서 절단(Censored)된 상황에서 데이터를 분석하기 위해 사용되는 통계 기법입니다. * James Tobin이 처음 제안한 이 모델은 경제학과 사회과학 분야에서 자주 사용되며, 일반 선형 회귀로는 설명할 수 없는 상황에서 효과적으로 적용할 수 있습니다. Tobit Regression 수식 1. 관측된 종속 변수