[Zeppelin] 노트북 데이터 AWS S3에 백업하기

zeppelin의 노트북 데이터가 서버상에서 삭제되더라도 보존할 수 있도록 tar.gz 압축파일로 묶어 S3에 백업할 수 있는 shell script를 작성하여 진행하였다.

 

1. shell script 파일 생성

   
   $ touch shell_script_practice.sh
   

2. shell script 파일을 편집기로 열기

   $ vi shell_script_practice.sh
   

3. 실행할 내용 작성

   #!/bin/bash		

   TODAY=date +"%Y%m%d"

   BACKUP_PATH='/home/ubuntu/workspace/data_backup/zeppelin'

   ZEPPELIN_HOME='/home/ubuntu/workspace/zeppelin-0.9.0-bin-all'


   mkdir -p ${BACKUP_PATH}/${TODAY}/

   echo "data backup"
   tar -zcvf ${BACKUP_PATH}/${TODAY}/backup${TODAY}.tar.gz ${ZEPPELIN_HOME}/notebook/ ${ZEPPELIN_HOME}/conf/

   aws s3 cp ${BACKUP_PATH}/${TODAY}/backup${TODAY}.tar.gz s3://donation-zeppelin-data

   find ${BACKUP_PATH}/ -mtime +6 -delete
   

---

shell script 내용

  
   tar -zcvf ${BACKUP_PATH}/${TODAY}/backup${TODAY}.tar.gz \
     ${ZEPPELIN_HOME}/notebook/ ${ZEPPELIN_HOME}/conf/
  

>> 오늘 날짜의 이름으로  .tar.gz 압축파일로 notebook과 conf 폴더를 압축한다.

   aws s3 cp ${BACKUP_PATH}/${TODAY}/backup${TODAY}.tar.gz s3://donation-zeppelin-data
  

>> 우분투(리눅스)에 백업된 데이터를 AWS S3에 복사(백업)

   find ${BACKUP_PATH}/ -mtime +6 -delete
  

>> 우분투(리눅스)에서 백업 경로를 찾아 현재 시간에서 일주일이 지난 파일은 삭제한다.