오늘도 한 뼘 더

개발을 직무로 생각을 해본적은 있지만 처음 개발자로서 생각해본 직무는 데이터 엔지니어링이었다. 그러다 운이 좋은 기회로 취업이 되었고 웹 개발이라는 직무에 마주하게 되었다. 설상가상으로 웹 개발을 넘어서 인프라 영역으로 직무가 결정이 되어버렸고 인프라와 데브옵스 업무를 주로 맡다보니 웹 개발에서 조금은 멀어지게 되었다. 업무상으로 개발 비중이 줄어들다 보니 개발을 놓지 않기 위해서 할 수있는 방법을 생각해 보다가 이전에 개발자 친구가 말해준 사이드 프로젝트가 생각났다. 친구와 저녁을 먹으면서 개발 지식과 공부에 대한 이야기를 나누다가 서로 사이드 프로젝트에 대한 생각을 갖고 있는 것을 알고 사이드 프로젝트를 시작하기로 했다. 일단은 기존에 있는 웹페이지를 따라 만들어 보는것으로 시작해서 Backend, ..

zeppelin의 노트북 데이터가 서버상에서 삭제되더라도 보존할 수 있도록 tar.gz 압축파일로 묶어 S3에 백업할 수 있는 shell script를 작성하여 진행하였다. 1. shell script 파일 생성 $ touch shell_script_practice.sh 2. shell script 파일을 편집기로 열기 $ vi shell_script_practice.sh 3. 실행할 내용 작성 #!/bin/bash TODAY=date +"%Y%m%d" BACKUP_PATH='/home/ubuntu/workspace/data_backup/zeppelin' ZEPPELIN_HOME='/home/ubuntu/workspace/zeppelin-0.9.0-bin-all' mkdir -p ${BACKUP_PATH..

제플린에서 interpreter 설정을 하기에 앞서 zeppelin에 연결하고자 하는 DB가 연결 가능 상태 여부인지를 먼저 확인한다. Network Layer Network 연결되었는지 여부 확인 zeppelin 서버에 접근하여 telnet 명령어로 연결 여부를 확인한다. $ telnet {엔드포인드} 3306 연결이 되어있지 않다면 네트워크에 연결이 될 수 있도록 해당 네트워크에 대한 보안그룹을 수정해야 한다. 인바운드 규칙에 zeppelin을 설치한 서버를 추가해준다. (3306번 포트로 규칙을 추가해준다.) App Layer User로 접근이 가능한지 여부 확인하기 다음 명령어를 통해 연결이 되어있는지 확인한다. $ mysql -h {엔드포인트} -u {username} -p 연결이 되지 않는 경..

zeppelin 설치 및 사용 이유 제플린은 웹 기반 notebook이며 시각화 tool이다. 운영되는 데이터를 다른 부서에서 활용하기 위해 사용 zeppelin 노트북 데이터를 백업하기에 앞서 제플린의 구조를 익힌다. zeppelin을 설치하면서 zeppelin 노트북 데이터에 대한 이해도를 높인다. zeppelin 노트북 데이터를 백업하는 이유 데이터를 분석하는데 용이하고 시각적으로 데이터를 볼 수 있게 도와주는 제플린의 데이터가 날아가는 것을 방지하기 위함이라고 생각한다. 설치방법 1. 해당 명령어를 통해서 zeppelin 패키지를 다운로드한다. wget http://downloads.apache.org/zeppelin/zeppelin-0.8.2/zeppelin-0.8.2-bin-all.tgz 2...

인스턴스 생성 AWS에 접속하여 EC2를 검색하여 인스턴스 시작 클릭한다. 1. 서버 유형 선택 어떠한 서버를 생성할지 선택한다. 2. 인스턴스 유형을 선택한다 CPU, 메모리, 스토리지 등의 유형에 따라 나뉘어 있고 t는 유형을 뒤에 숫자는 세대를 나타낸다. 3. 보안 그룹 구성 3, 4, 5 단계의 경우 선택한 인스턴스 유형에 따라 기본값이 설정이 되고 따로 값을 변경하지 않을 경우 패스! 필자의 경우 기본 값으로 설정을 진행하였다. 보안 그룹은 어떠한 ip주소를 접근 가능하게 할 것인지 설정해준다.(방화벽 기능) 처음에는 SSH 유형에 소스를 내 IP로 지정하였다. 4. 인스턴스 키 발급 인스턴스 생성이 완료되면 인스턴스의 키가 발급된다. (다운로드하고 무조건 잘 보관하기!) cmd창에서 다음 명령..

SSH란 Secure Shell의 줄임말이다. SSH키는 id_rsa.pub과 id_rsa로 나뉜다 id_rsa.pub : public key(client) id_rsa : private key(server) 위의 Private Key는 SSH로 접속하고자 하는 Client에 존재하게 되며, Public Key는 Server에 위치하게 된다. 이러한 SSH키를 생성하는 방법은 keygen 명령어를 사용한다. SSH키 생성하기 [Ubuntu와 윈도우 모두 SSH키를 생성하는 방법은 동일하다.] 1. ssh 폴더로 이동 $ cd ~/.ssh 2. keygen 명령어로 ssh 키 생성 $ ssh-keygen 3. 생성된 키 확인하기 SSH 키 등록하기 Server에 접속하기 위해서는 client의 public..

Ⅱ. Server Install image 설치하기 https://releases.ubuntu.com/18.04.5/?_ga=2.15171838.972617121.1611559765-1334191541.1611559765releases.u buntu.com/bionic/ 접속하여 'ubuntu-18.04.5-live-server-amd64.iso' 파일을 다운로드한다. Ubuntu 18.04.5 LTS (Bionic Beaver) Select an image Ubuntu is distributed on three types of images described below. Desktop image The desktop image allows you to try Ubuntu without changing y..

우분투를 설치하기에 앞서 디스크 이미지를 통해서 설치를 하는 데에는 두 가지 방법이 있다. 1. 컴퓨터와 같이 GUI형식으로 설치하는 Desktop image 2. CMD창과 같이 설치하는 Server Install image [다음 장에서 설명] Ⅰ. Desktop image 설치하기 https://releases.ubuntu.com/18.04.5/?_ga=2.15171838.972617121.1611559765-1334191541.1611559765releases.ubuntu.com/bionic/ 접속하여 'ubuntu-18.04.5-desktop-amd64.iso' 파일을 다운로드한다. Ubuntu 18.04.5 LTS (Bionic Beaver) Select an image Ubuntu is di..

VirtualBox가 다 설치되고 나면 다음과 같은 페이지가 뜨게 된다. 이곳에서 Ubuntu 설치를 진행한다. 가상 머신 만들기 Ubuntu(우분투)를 설치하기에 앞서 우분투 OS가 돌아갈 수 있는 가상 머신 환경을 설정해야 한다. 이는 다음과 같이 진행된다. 새로 만들기를 클릭하여 다음과 같이 이름, 종류, 버전을 설정한다. 메모리 크기 : 2048MB (초기값 : 1024MB) 초기값은 1024MB(1GB)이나 필요에 따라 좀 더 큰 메모리의 크기가 필요할 수 있어 필자의 경우 2048MB(2GB)로 설정했다. 이 부분에 대해서는 유동적으로 설정이 가능하나 보통 GB의 단위로 끊어서 설정하는 것이 좋다고 한다. 하드 디스크 설정 이전에 가상 하드 디스크 파일이 없기 때문에 새로운 가상 하드 디스크를..

1. VirtualBox 다운로드 .exe 다운로드하기 www.virtualbox.org/wiki/Downloads Downloads – Oracle VM VirtualBox Download VirtualBox Here you will find links to VirtualBox binaries and its source code. VirtualBox binaries By downloading, you agree to the terms and conditions of the respective license. If you're looking for the latest VirtualBox 6.0 packages, see Virt www.virtualbox.org 호스트 OS가 Window이기 때문에 Win..