Cloud
Kibana - Elasticsearch 연동하면서 발생한 트러블 슈팅
Kibana - Elasticsearch 연동하면서 발생한 트러블 슈팅
2021.05.06Google Cloud Platform에서 pub/sub으로 streaming 데이터 수집하는 과정 fluentd ⇢ ELK (ES, Kibana) 아키텍처 수립 후 구현하는 과정에서 ES, Kibana를 VM위에 설치 및 운영하는 과정에서 발생하는 트러블 슈팅에 대해 작성해보고자 합니다. 1. Kibana server is not ready yet 이 경우 Kibana 설치 버전과 Elastic Search 설치 버전이 같은지 확인하여야 합니다. (호환성 이슈) elastic search 설치 버전 확인 kibana 설치 버전 확인 - kibana의 경우 status를 확인해도 버전을 확인할 수 없어 log file에서 확인해 볼 수 있었습니다. log file중 kibana 의 버전 확인 2. 그럼에..
Google Cloud On Air Review
Google Cloud On Air Review
2021.05.03Database Week Google Cloud Platform을 이용하면 사용자가 간단하게 DB 유지보수를 수행할 수 있습니다. 기존에 On-premise에서는 인프라를 구축하고 실행, 유지해야 하고 다운 타임에 failOver에 대응하기 위해 모니터링 작업을 수행해야 합니다. 하기에 나온 내용들을 IT 인력이 직접 관리해야 하는 단점이 있습니다. 데이터베이스의 시스템도 마찬가지로 기존의 모놀리식의 단점을 보완하여 오토 스케일링을 지원할 수 있는 장점이 큽니다. 또, 다운 타임에 대해 Failover가 지원되며 Google Cloud Platform 자체적으로 SLA가 지원되고 있습니다. 기존 legacy System에서 Cloud로 이관시 시스템 최적화 매니지드 서비스가 제공되기 때문에 Applica..
GCP 세미나 준비하면서 참고했던 URL 리스트
GCP 세미나 준비하면서 참고했던 URL 리스트
2021.04.301. Infrastructure as Code: Introduction to Continuous Spark Cluster Deployment with Cloud Build and Terraform medium.com/google-cloud/infrastructure-as-code-introduction-to-continuous-spark-cluster-deployment-with-cloud-build-and-9798a776bbb0 Infrastructure as Code: Introduction to Continuous Spark Cluster Deployment with Cloud Build and… Imagine you want to start building some data pipelines in..
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - embulk
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - embulk
2021.03.021)개요 Windows Server의 Oracle DB와 연결해서 Ubuntu 환경에서 embulk로 데이터를 읽어와 bigQuery로 이관하는 작업을 시작해보겠습니다. oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - VM : thewayitwas.tistory.com/432 oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - VM구성 1) 개요 Windows Server에 Oracle DB를 설치하고 Linux Server에 Instant Oracle Client 를 사용해 서로 연결해 둔 다음 embulk를 활용해 Windows Server의 Oracle DB의 데이터를 bigQuery로 이관하는 작업입니다... thewayitwas.tistory..
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - Oracle
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - Oracle
2021.02.271)개요 이 전편에 이어서 Windows Server에 Oracle DB를 설치하고 Ubuntu에 Oracle Instant Client를 설치해서 서로 연결해보도록 하겠습니다. (쿼리 조회로 확인해 보겠습니다.) 2)Windows Oracle Server www.oracle.com/database/technologies/oracle-database-software-downloads.html에 접속해서 설치를 진행합니다. 진행이 잘 안되면 goddaehee.tistory.com/191를 참고하면 됩니다. 설치가 완료되면 Command Shell에 sqlplus를 써서 사용하면 됩니다. 여기서 user-name을 정해주지 않았다면 sys as sysdba 를 쓰고 비밀번호는 Oracle DB설치시에 작성하..
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - VM구성
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - VM구성
2021.02.251) 개요 Windows Server에 Oracle DB를 설치하고 Linux Server에 Instant Oracle Client 를 사용해 서로 연결해 둔 다음 embulk를 활용해 Windows Server의 Oracle DB의 데이터를 bigQuery로 이관하는 작업입니다. 이 포스팅에서는 VM 구성을 어떻게 할지 알아보겠습니다. 잘 안되는게 있으면 댓글로 알려주세요. 바로바로 답변 드리겠습니다. (부족한 점도,,) 2)VM구성 WIndows Server 와 Ubuntu 두개를 구성합니다. GCP의 VM으로 이동합니다. 설정파일을 적절하게 선택합니다. Machine type을 사용 목적에 맞도록 설정합니다. (N1 시리즈에 2vCPU, 7.5 GB memory로 설정해두었습니다.) 그리고, Boo..
마이크로서비스 배포
마이크로서비스 배포
2020.10.11-. 개발자가 운영 팀에게 코드를 일일이 넘겨주었던 수작업 과정은 고도로 자동화되고 물리적인 프로덕션 환경은 가볍고 일시적인 컴퓨팅 인프라로 대체되었습니다. -. AWS EC2 ⇢ 도커 릴리스 ⇢ AWS 람다 도입-. 운영 환경에 사용되는 컴퓨팅 리소스 역시 물리 머신을 추상한 개념이 등장하면서 많은 변화를 겪게 되었고, AWS 등 고도로 자동화한 클라우드에 기반해 가상 머신은 수명이 긴 물리/가상 머신으로 빠르게 대체되었습니다. -. 현대에 이르러서 가상 머신은 불변 = Immutable 합니다. 재구성 = reconfiguration 하기보다 폐기 후 재생성 합니다. -. 배포 프로세스/아키텍처가 발전을 거듭한 것은 마이크로서비스 아키텍처가 점점 더 많이 채택되는 이유 입니다.-.프로덕션 환경의 4대..
마이크로 서비스 패턴
마이크로 서비스 패턴
2020.10.101) X축 확장 :: 다중 인스턴스에 고루 요청 분산 일반적인 모놀리식 애플리케이션 확장 수단, 부하 분산기 뒷면에 애플리케이션 인스턴스 N개를 띄워 놓고 부하 분산기는 들어온 요청을 인스턴스에 고루 분배합니다. 애플리케이션 능력과 가용성을 개선할 수 있습니다. 2) Y축 확장 :: 요청 속성별 라우팅 인스턴스 앞면에 위치한 라우터는 요청의 속성에 알맞은 인스턴스로 요청을 라우팅 합니다. 애플리케이션을 확장해서 증가하는 트랜잭션 및 데이터 볼륨을 처리하기 좋습니다. 3) Z축 확장 :: 기능에 따라 애플리케이션을 서비스로 분해 위 과정을 거치면 X축/Z축 확장을 하면 애플리케이션 능력과 가용성 개선, 애플리케이션이 복잡해지면 문제는 해결되지 않는다. 모놀리식 애플리케이션을 여러 서비스로 쪼갠다. Y축 확..
GCP35 :: AI, ML
GCP35 :: AI, ML
2020.09.23ㅡ. 백그라운드 새 x (문제 질의) 파란색 선을 찾아갑니다. 수학적 모델을 이용해서 y값을 추정할 수 있습니다. 선형 그래프를 그릴 때 H(x) = Wx+b 로 표현할 수 있습니다. 여기서 b는 y축을 지나는 y절편이 됩니다. 또 x값은 독립변수고 y값을 종속변수 입니다. x값에 따라서 y의 값이 달라지게 됩니다. 선형회귀는 직선을 정확하게 그려내는 과정입니다. 따라서, 최적의 W와 b의 값을 찾아내는 과정입니다. 이 w와 b를 찾아내기 위한 방법으로 경사하강법이 존재합니다. ㅡ. 경사하강법 경사하강법은 머신러닝 및 딥러닝 알고리즘 훈련할 때 사용합니다. 여기서 MES라는 것을 사용하게 되는데 MES의 식에서 평균제곱 오차를 비용함수라고 합니다. 비용함수 이차식으로 되어있어서 위와같이 볼록한 형태의 구..
GCP25 :: dataflow 코드 작성하기 3
GCP25 :: dataflow 코드 작성하기 3
2020.08.24batch 처리에 대한 apache-beam 코드 수행으로 마지막입니다. 1,2 와 크게 다르지 않은 형태이지만 example 수준에서 봐주시면 감사하겠습니다. 2020/08/24 - [Cloud] - dataflow 코드작성하기 2020/08/24 - [Cloud/Cloud.Dataflow] - dataflow 코드 작성하기 2 #apache_beam from apache_beam.options.pipeline_options import PipelineOptions import apache_beam as beam pipeline_options = PipelineOptions( project='project-id', runner='dataflow', temp_location='bucket-location..
GCP24 :: dataflow 코드 작성하기 2
GCP24 :: dataflow 코드 작성하기 2
2020.08.24이전과 비슷한 로직으로 코드를 작성하겠습니다. 다만 조금 더 다양한 Apache-beam 함수를 써서 파이프라인을 구축해보겠습니다. 기본 셋팅은 이전 포스팅을 참고해주세요! 2020/08/24 - [Cloud] - dataflow 코드작성하기 Local환경에서 테스팅 하기 위해서 기본 Data Set을 생성하였습니다. with beam.Pipeline() as pipeline: results = ( pipeline | 'Gardening plants' >> beam.Create([ 'Iot,c c++ python,2015', 'Web,java spring,2016', 'Iot,c c++ spring,2017', 'Iot,c c++ spring,2017', ]) 이 데이터 셋을 가지고 트랜스폼 할것은 어떤..
GCP23 :: dataflow 코드작성하기
GCP23 :: dataflow 코드작성하기
2020.08.24위와 같은 데이터가 있습니다. react 안에서 feature 별 횟수를 묶을 생각입니다. from apache_beam.options.pipeline_options import PipelineOptions import apache_beam as beam 파이프 라인 환경설정을 구성하기 위해서 PipelineOptions 를 사용합니다. pipeline_options = PipelineOptions( project=[project-id], runner='dataflow', temp_location=[bucket-location] ) 기본 설정들을 셋팅 합니다. python 으로 코드를 작성하였습니다. main function 을 pcollection_dofn_methods_basic 으로 만들었습니다. ..