오늘도 한 뼘 더

# 배경  제플린 쿼리를 돌리는 중 다음과 같은 에러가 발생하였다.Output is truncated to 220000 bytes. Learn more about ZEPPELIN_INTERPRETER_OUTPUT_LIMIT   # 원인  결과 내용이 설정해 둔 것보다 커서 나오는 에러였다.   # 해결 방법  output limit을 더 큰 값으로 변경해서 해당 문제를 해결하도록 한다. 1. 서버에 접근한다.$ ssh ubuntu@[server IP] 2. zeppelin 도커에 접근한다.$ docker exec -it zeppelin /bin/bash 3. zeppelin-sites.xml 에서 설정 값을 변경한다.$ vi conf/zeppelin-site.xml밑의 값을 변경 zeppelin.int..

zeppelin의 노트북 데이터가 서버상에서 삭제되더라도 보존할 수 있도록 tar.gz 압축파일로 묶어 S3에 백업할 수 있는 shell script를 작성하여 진행하였다. 1. shell script 파일 생성 $ touch shell_script_practice.sh 2. shell script 파일을 편집기로 열기 $ vi shell_script_practice.sh 3. 실행할 내용 작성 #!/bin/bash TODAY=date +"%Y%m%d" BACKUP_PATH='/home/ubuntu/workspace/data_backup/zeppelin' ZEPPELIN_HOME='/home/ubuntu/workspace/zeppelin-0.9.0-bin-all' mkdir -p ${BACKUP_PATH..

제플린에서 interpreter 설정을 하기에 앞서 zeppelin에 연결하고자 하는 DB가 연결 가능 상태 여부인지를 먼저 확인한다. Network Layer Network 연결되었는지 여부 확인 zeppelin 서버에 접근하여 telnet 명령어로 연결 여부를 확인한다. $ telnet {엔드포인드} 3306 연결이 되어있지 않다면 네트워크에 연결이 될 수 있도록 해당 네트워크에 대한 보안그룹을 수정해야 한다. 인바운드 규칙에 zeppelin을 설치한 서버를 추가해준다. (3306번 포트로 규칙을 추가해준다.) App Layer User로 접근이 가능한지 여부 확인하기 다음 명령어를 통해 연결이 되어있는지 확인한다. $ mysql -h {엔드포인트} -u {username} -p 연결이 되지 않는 경..

zeppelin 설치 및 사용 이유 제플린은 웹 기반 notebook이며 시각화 tool이다. 운영되는 데이터를 다른 부서에서 활용하기 위해 사용 zeppelin 노트북 데이터를 백업하기에 앞서 제플린의 구조를 익힌다. zeppelin을 설치하면서 zeppelin 노트북 데이터에 대한 이해도를 높인다. zeppelin 노트북 데이터를 백업하는 이유 데이터를 분석하는데 용이하고 시각적으로 데이터를 볼 수 있게 도와주는 제플린의 데이터가 날아가는 것을 방지하기 위함이라고 생각한다. 설치방법 1. 해당 명령어를 통해서 zeppelin 패키지를 다운로드한다. wget http://downloads.apache.org/zeppelin/zeppelin-0.8.2/zeppelin-0.8.2-bin-all.tgz 2...