GCP
Java로 ETL 수행 (Sample Code)
Java로 ETL 수행 (Sample Code)
2021.11.15Dataflow for Java Dataflow는 Serverless 로 제공되며 통합 스트리밍 및 일괄 데이터 처리를 지원하고 있습니다. Apache-Beam 모델을 활용해 코드 레벨에서 데이터 처리를 수행할 수 있습니다. 해당 세미나에서는 Dataflow를 Java로 코드 구성하고 실행해보는 과정을 살펴보겠습니다. Prerequisites JDK Apache Maven IntelliJ IDEA Community Edition Spring Initializer Local Machine Step1 아래 명령어를 통해 java, mvn 버전 확인을 진행합니다. $ java --version $ mvn --version java version 확인 시 mvn version 확인 시 Model Apache B..
AWS redshift 와 GCP bigQuery 차이
AWS redshift 와 GCP bigQuery 차이
2021.05.27시작 클라우드에서 데이터 처리 및 분석하는데 가장 핵심적인 부분은 Data Warehouse 입니다. 각 벤더사에서 AWS, GCP에서 제공하는 Data Warehouse는 redshift 와 bigQuery 가 있습니다. 이 포스팅에서는 두 DW의 차이에 대해 알아보겠습니다. 다른 포스팅에 비해 부족한 내용이겠지만 각각의 서비스에 대한 설명과 가격, 보안, 사용, 성능, 가용성 분류로 차이에 대해 나열해 보겠습니다. redshift AWS에서 제공하는 데이터웨어하우스의 역할로 수백 기가 바이트부터 페타바이트 이상까지 데이터를 확장해서 저장할 수 있습니다. 데이터 전송시 최대 100Gbps 대역을 가질 수 있습니다. redshift을 동작하기 전에 cluster를 구성해야 하는데 프로비저닝 작업을 수행해..
GCP41 :: 구글 클라우드 플랫폼 입문
GCP41 :: 구글 클라우드 플랫폼 입문
2020.10.07프로젝트는 테넌트 라고 불리는 개념에 해당하는 것입니다. 해당 프로젝트에 등록된 사용자 계정만이 프로젝트 안의 리소스를 조작할 수 있게 됩니다. 레거시 네트워크는 모든 지역에 걸쳐서 하나의 서브넷이 구성됩니다. 반면에 서브넷 네트워크는 지역마다 개별 서브넷이 존재합니다. gcloud 명령어는 GCP의 각 서비스를 관리하는 도구 입니다. gcloud 명령의 릴리즈 레벨에는 다음이 있습니다. General Availability, 라벨 x, 안정 버전 실제 운용 용도로 사용가능 Beta, 라벨 beta, 동작하지만 해결되지 않은 문제가 포함되어 있을 가능성이 있는 명령. 서비스 레벨 계약 대상에서 제외 Alpha, 라벨 alpha, 알파 버전 릴리즈 명령으로 예고없이 변경될 수 있음 SLA대상에서 제외 Pr..
GCP40 :: 베스천호스트 연결
GCP40 :: 베스천호스트 연결
2020.10.02구글문서에 따르면 베스천 호스트를 통해 내부 아이피 만으로 외부아이피 없이 접속할 수 있습니다. 이 방식의 장점은 따로 방화벽 규칙을 설정하지 않고도 개발 환경에 연결하거나 외부 애플리케이션의 데이터베이스 인스턴스를 관리할 수 있습니다. 우선적으로 베스천 호스트에 로그인한 후에 대상 비공개 인스턴스에 접근하여 로그인하게 됩니다. 이러한 베스천 호스트를 점프 서버라고도 부릅니다. 다음 2단계를 거쳐서 로그인을 수행합니다. 1) OS로그인 사용 설정합니다. gcloud compute instances add-metadata test --metadata enable-oslogin=TRUE 여기서 test 인스턴스에 oslogin 을 TRUE 로 주었습니다. 또, test 인스턴스에 rw 권한을 부여해야 합니다..
GCP39 :: Media(번역) - BigQuery
GCP39 :: Media(번역) - BigQuery
2020.10.02ㅡ. 스탠다드SQL 빅쿼리는 2011 표준화된 안시 SQL 에 따르는 Standard SQL을 더 선호합니다. 빅쿼리를 사용할때 자동적으로 생성하고 스케쥴해주고 쿼리잡을 실행해줍니다. 빅쿼리는 두가지 모드로 실행됩니다. :: interactive, batch Interactive(on-demand) : 가능한한 많이 실행됩니다. 제한이 따릅니다. Batch queries : 빅쿼리 공유 리소스 풀에서 유후 자원을 사용할 수 있도록 즉시 배치 쿼리가 대기열에 저장되고 시작됩니다. 단 몇분만에 실행됩니다. interactive 모드와 다르게 동시 요금 제한에 따른 제약이 없습니다. ㅡ. 빅쿼리 테이블 타입 모든 비구커리 테이블은 컬럼 네임을 가지고 있는 스키마 형태로 정의도비니다. 컬럼 네임에는 데이터 타입..
GCP38 :: OS로그인
GCP38 :: OS로그인
2020.09.28ㅡ. 정의 구글 문서에 따르면 OS Login은 사용자에게 일종에 권한을 주는 것인데요. (Compute Engine IAM roles) SSH로 리눅스 인스턴스에 접근할 수 있는 권한을 주거나 취소할 수 있습니다. OS 로그인 자체는 기존의 메타데이터에서 SSH 키를 추가하거나 혹은 제거함에 따라서 인스턴스에 접근하고 관리할 수 있는 방법에 대체할 수 있는 수단입니다. 다음의 스텝으로 OS 로그인을 설정할 수 있습니다. ㅡ. 스텝1 우선 첫번째로 해줘야할거는 게스트 환경을 설치해줘야 하는데 이는 최신 public images에 이미 포함되어 있습니다. 만약에 커스텀 이미지를 사용하고 있다면 게스트 환경을 추가적으로 설치해줘야 합니다.(VM에) 마찬가지로 최신 게스트 환경이 존재하지 않는다면 업데이트 시..
GCP37 :: 커스텀 부팅 디스크
GCP37 :: 커스텀 부팅 디스크
2020.09.28구글 클라우드 플랫폼 문서에서는 VM을 위한 부트디스크 생성시에 public, custom, snapshot (다른 부트 디스크로부터 가져온) 것을 통해서 가져올 수 있다고 소개되어 있습니다. 그리고 부트 디스크의 경우에는 디스크 사이즈가 2 테라바이트로 제한되어야 하고 (MBR 파티셔닝에 의해 설명이 된다고 나와있습니다.) 컴퓨터 엔진은 자동적으로 부트 영구 디스크를 생성합니다. 인스턴스를 생성시에요! 추가적인 데이터 스토리지 공간이나 인스턴스를 위해서 혹은 추가적인 인스턴스 스토리지 옵션이 요구되는 경우에 커스텀 부팅 디스크를 이용할 수 있습니다. 이 경우 단독의 부트 영구 디스크를 생성해서 인스턴스에 나중에 붙이게 됩니다. 혹은 부트 디스크의 사이즈를 조절할 수도 있습니다. (퍼포먼스의 수행을 목적..
GCP36 :: 단독 테넌트 노드
GCP36 :: 단독 테넌트 노드
2020.09.28ㅡ. 정의 단독 테넌트 노트 = 프로젝트의 VM을 호스팅 하는 목적으로 사용합니다. 일종에 베어메탈로서 호스트 하드웨어로 관리됩니다. 단독 테넌트 노드를 사용하면 VM을 다른 프로젝트의 VM과 물리적으로 분리하여 유지, 동일한 호스트 하드웨어에서 여러 VM을 그룹화 합니다. 호스트 하드웨어 위에 구동되는 VM에는 추가적인 하드웨어 격리 레이어가 존재합니다. 단독 테넌트 노드에 다양한 크기의 머신 유형에 여러 VM을 프로비저닝 할 수 있기 때문에 전용 호스트 하드웨어의 기본 리소스를 효율적으로 사용할 수 있어야 합니다. 호스트 하드웨어를 다른 프로젝트와 공유하지 않기 때문에 다른 워크로드나 VM과 물리적인 격리해야하는 워크로드의 보안 또는 규정 준수 요구사항을 충족시킬 수 있습니다. ㅡ. 어디에서 사용할까..
GCP34 :: 쿠버네티스 정리
GCP34 :: 쿠버네티스 정리
2020.09.19✓. 쿠버네티스 ⇢ 컨테이너 기반의 환경은 배포에 강점이 있습니다. 또, 마이크로 서비스 아키텍쳐 구조에 잘 맞습니다. 컨테이너 운영환경입니다. ⇢ 클러스터 이해를 선행해야 합니다. 컨트롤러로써 마스터가 존재하고 컨테이너가 배포되는 머신(가상머신 이나 물리적인 서버머신) 노드가 존재된다. ✓. Pod ⇢ 쿠버네티스에서 가장 기본적인 배포 단위, 컨테이너를 포함하는 단위이다. ⇢ 컨테이너를 개별적으로 하나씩 배포하지 않고 Pod 라는 단위로 배포(Pod, 하나 이상의 컨테이너 포함) ⇢ 컨테이너는 IP와 Port를 공유합니다. ✓. Vargant ⇢ 설정 스크립트 기반으로 특정 환경의 가상 머신을 만들어서 신속하게 개발 환경 구축 ✓. 마이크로 서비스 아키텍처 ⇢ 1~2코어로도 운영할 수 있기 때문에 작은..
GCP33 :: Bootcamp
GCP33 :: Bootcamp
2020.09.03부트 캠프 시작하기전에 구글 쉘 창을 우선적으로 실행시켰습니다. gcloud config list project $ gcloud config set account `ACCOUNT` gcloud config set compute/zone asia-northeast3-a gcloud config set compute/region asia-northeast3 존설정 ㅡ. Legacy Network Google Cloud Engine에서는 단일 네트워크 IPv4 프리픽스 범위 정의 하고 해당 네트워크는 모든 Cloud Platform 지역에 걸쳐 있습니다. ㅡ. Regional Subnetworks 네트워크 특정 지역에 있는 영역에서는 생성 되는 인스턴스에 subnetwork IP prefix range가 할당..
GCP32 :: VM 인스턴스에 대한 액세스 관리
GCP32 :: VM 인스턴스에 대한 액세스 관리
2020.09.03ㅡ. 시작 Linux VM 인스턴스 실행중인 상태에서 인스턴스에 대해서 사용자 혹은 앱 엑세스 공유 또는 제한할 수 있습니다. ㅡ. OS 로그인 Compute Engine에서 IAM 역할을 사용할 수 있고 Linux 인스턴스에 대한 SSH 액세스를 관리할 수 있습니다. I. 개요 게스트 환경을 설치 업데이트 > 프로젝트 or 개별 인스턴스에 OS로그인 기능 사용 설정 > 자신, 프로젝트 구성원 또는 조직 구성원에게 필요한 IAM역할 부여 > 자신, 프로젝트 구성원 사용자 계정에 커스텀 SSH키 추가 > 인스턴스 연결 II. 제한사항 OS로그인은 구글 쿠버네티스 엔진에서 지원되지 않습니다. 또한, Fedora CoreOS이미지는 OS로그인을 지원하지 않습니다. III. Step 1단계. 인스턴스에 최신버전..
GCP31 :: Gsuit 정리 - 디지털 컨퍼런스를 들으면서...
GCP31 :: Gsuit 정리 - 디지털 컨퍼런스를 들으면서...
2020.09.01ㅡ. Pre-show Gsuit - 협업 업무 솔루션입니다. 20% 시간을 검색, 문서 찾는 할애 - 적합한 문서를 찾지 못하고 만든다고 합니다. 생산성을 굉장히 떨어뜨립니다. ㅡ. G Suite 을 통한 기업 업무 환경의 트랜스포메이션 주 52시간제 도입, 코비드 19 상황 기업의 비즈니스 성장에 주목하고 있다면 우리가 가장 접하고 있는 생산성 도구에 주목해야 합니다. Gsuit이 업무 생산성 향상에 많은 도움을 줄것입니다. 구글 클라우드 기반 협업 도구 = Gsuit, 협업에 필요한 모든 것(하나의 패키지입니다.) 소통 : Gmail, Calendar, 채팅, Meet 등 협업 : Docs, Sheets, Forms 등 보안과 관리 : Drive 등 어떻게? 변화를 혁신하는지? 1. 속도 향상, 구글..