오늘도 한 뼘 더

# 배경 서버에서 불필요한 디렉터리 및 파일을 일괄적으로 삭제하고 싶었다. 서버에 temp 디렉터리와 파일을 삭제하고자 한다. find와 exec를 사용하여 삭제할 수 있다고 한다. # 특정 디렉터리 일괄 삭제하기 temp를 포함한 폴더를 일괄 삭제하는 명령어는 다음과 같다. $ find . -name "*temp*" -type d -exec -rm -r {} + . : 현재 디렉터리에서 검색함을 뜻한다. -type d : 디렉터리로 검색을 제한한다. -name "*temp*" : temp를 포함하는 디렉터리를 검색한다. -exec : 뒤에 붙는 명령어를 실행해 주기 위한 옵션 {} + : rm 명령어 끝에 검색된 폴더를 추가한다. # 특정 파일 일괄 삭제하기 temp를 포함한 파일을 일괄 삭제하는 명령..

# 배경 crontab을 작성 후 저장을 하고 나오는데 제대로 저장이 되지 않았다! # Crontab 작성 후 저장하기 1. Crontab -e로 작성하기 Crontab -e 명령어를 입력하면 바로 편집창이 뜬다. 예약 시간과 파일을 작성한다. # Edit this file to introduce tasks to be run by cron. # # Each task to run has to be defined through a single line # indicating with different fields when the task will be run # and what command to run for the task # ... 0 0 * * * /home/ubuntu/test.sh 2. Ctrl ..

zeppelin의 노트북 데이터가 서버상에서 삭제되더라도 보존할 수 있도록 tar.gz 압축파일로 묶어 S3에 백업할 수 있는 shell script를 작성하여 진행하였다. 1. shell script 파일 생성 $ touch shell_script_practice.sh 2. shell script 파일을 편집기로 열기 $ vi shell_script_practice.sh 3. 실행할 내용 작성 #!/bin/bash TODAY=date +"%Y%m%d" BACKUP_PATH='/home/ubuntu/workspace/data_backup/zeppelin' ZEPPELIN_HOME='/home/ubuntu/workspace/zeppelin-0.9.0-bin-all' mkdir -p ${BACKUP_PATH..

제플린에서 interpreter 설정을 하기에 앞서 zeppelin에 연결하고자 하는 DB가 연결 가능 상태 여부인지를 먼저 확인한다. Network Layer Network 연결되었는지 여부 확인 zeppelin 서버에 접근하여 telnet 명령어로 연결 여부를 확인한다. $ telnet {엔드포인드} 3306 연결이 되어있지 않다면 네트워크에 연결이 될 수 있도록 해당 네트워크에 대한 보안그룹을 수정해야 한다. 인바운드 규칙에 zeppelin을 설치한 서버를 추가해준다. (3306번 포트로 규칙을 추가해준다.) App Layer User로 접근이 가능한지 여부 확인하기 다음 명령어를 통해 연결이 되어있는지 확인한다. $ mysql -h {엔드포인트} -u {username} -p 연결이 되지 않는 경..

zeppelin 설치 및 사용 이유 제플린은 웹 기반 notebook이며 시각화 tool이다. 운영되는 데이터를 다른 부서에서 활용하기 위해 사용 zeppelin 노트북 데이터를 백업하기에 앞서 제플린의 구조를 익힌다. zeppelin을 설치하면서 zeppelin 노트북 데이터에 대한 이해도를 높인다. zeppelin 노트북 데이터를 백업하는 이유 데이터를 분석하는데 용이하고 시각적으로 데이터를 볼 수 있게 도와주는 제플린의 데이터가 날아가는 것을 방지하기 위함이라고 생각한다. 설치방법 1. 해당 명령어를 통해서 zeppelin 패키지를 다운로드한다. wget http://downloads.apache.org/zeppelin/zeppelin-0.8.2/zeppelin-0.8.2-bin-all.tgz 2...

Ⅱ. Server Install image 설치하기 https://releases.ubuntu.com/18.04.5/?_ga=2.15171838.972617121.1611559765-1334191541.1611559765releases.u buntu.com/bionic/ 접속하여 'ubuntu-18.04.5-live-server-amd64.iso' 파일을 다운로드한다. Ubuntu 18.04.5 LTS (Bionic Beaver) Select an image Ubuntu is distributed on three types of images described below. Desktop image The desktop image allows you to try Ubuntu without changing y..

우분투를 설치하기에 앞서 디스크 이미지를 통해서 설치를 하는 데에는 두 가지 방법이 있다. 1. 컴퓨터와 같이 GUI형식으로 설치하는 Desktop image 2. CMD창과 같이 설치하는 Server Install image [다음 장에서 설명] Ⅰ. Desktop image 설치하기 https://releases.ubuntu.com/18.04.5/?_ga=2.15171838.972617121.1611559765-1334191541.1611559765releases.ubuntu.com/bionic/ 접속하여 'ubuntu-18.04.5-desktop-amd64.iso' 파일을 다운로드한다. Ubuntu 18.04.5 LTS (Bionic Beaver) Select an image Ubuntu is di..