분류 전체보기
알고리즘 :: 신규 아이디 추천 (javascript)
알고리즘 :: 신규 아이디 추천 (javascript)
2021.05.07javascript에 익숙해지기 위해 관련 언어를 서칭하며 문제를 해결해 보았습니다. 관련 문제는 2021 KAKAO BLIND RECRUITMENT 신규아이디추천 입니다. 정규식을 알아야 풀 수 있는 문제라고 접근했는데 서치해보니 문자열의 각 문자를 참조할 수 있는 방법에 대해 공부할 수 있었습니다. MDN Web Docs에서 관련 내용을 참고해보면 ThecharCodeAt()method returns an integer between0and65535representing the UTF-16 code unit at the given index. 로 소개되어있습니다. 즉, Unicode로 반환되기 때문에 우리가 은히 알고있는 아스키 코드표를 참고해서 비교해봄으로써 문제에서 요구한 사항을 지켜낼 수 있습니..
Kibana - Elasticsearch 연동하면서 발생한 트러블 슈팅
Kibana - Elasticsearch 연동하면서 발생한 트러블 슈팅
2021.05.06Google Cloud Platform에서 pub/sub으로 streaming 데이터 수집하는 과정 fluentd ⇢ ELK (ES, Kibana) 아키텍처 수립 후 구현하는 과정에서 ES, Kibana를 VM위에 설치 및 운영하는 과정에서 발생하는 트러블 슈팅에 대해 작성해보고자 합니다. 1. Kibana server is not ready yet 이 경우 Kibana 설치 버전과 Elastic Search 설치 버전이 같은지 확인하여야 합니다. (호환성 이슈) elastic search 설치 버전 확인 kibana 설치 버전 확인 - kibana의 경우 status를 확인해도 버전을 확인할 수 없어 log file에서 확인해 볼 수 있었습니다. log file중 kibana 의 버전 확인 2. 그럼에..
Google Cloud On Air Review
Google Cloud On Air Review
2021.05.03Database Week Google Cloud Platform을 이용하면 사용자가 간단하게 DB 유지보수를 수행할 수 있습니다. 기존에 On-premise에서는 인프라를 구축하고 실행, 유지해야 하고 다운 타임에 failOver에 대응하기 위해 모니터링 작업을 수행해야 합니다. 하기에 나온 내용들을 IT 인력이 직접 관리해야 하는 단점이 있습니다. 데이터베이스의 시스템도 마찬가지로 기존의 모놀리식의 단점을 보완하여 오토 스케일링을 지원할 수 있는 장점이 큽니다. 또, 다운 타임에 대해 Failover가 지원되며 Google Cloud Platform 자체적으로 SLA가 지원되고 있습니다. 기존 legacy System에서 Cloud로 이관시 시스템 최적화 매니지드 서비스가 제공되기 때문에 Applica..
GCP 세미나 준비하면서 참고했던 URL 리스트
GCP 세미나 준비하면서 참고했던 URL 리스트
2021.04.301. Infrastructure as Code: Introduction to Continuous Spark Cluster Deployment with Cloud Build and Terraform medium.com/google-cloud/infrastructure-as-code-introduction-to-continuous-spark-cluster-deployment-with-cloud-build-and-9798a776bbb0 Infrastructure as Code: Introduction to Continuous Spark Cluster Deployment with Cloud Build and… Imagine you want to start building some data pipelines in..
구글 클라우드 플랫폼 시작
구글 클라우드 플랫폼 시작
2021.03.05구글 클라우드 플랫폼 공부를 하다보니 잊어버리는게 많아서 블로그에 google cloud platform docs 내용을 정리해보고자 글을 씁니다. 추후에는 aws docs를 정리해볼 생각입니다.(하반기) 상하반기 나눠서 관련 클라우드 내용을 한번에 정리해볼 수 있는 시간이 되길 바랍니다. ㅜ^ㅜ
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - embulk
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - embulk
2021.03.021)개요 Windows Server의 Oracle DB와 연결해서 Ubuntu 환경에서 embulk로 데이터를 읽어와 bigQuery로 이관하는 작업을 시작해보겠습니다. oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - VM : thewayitwas.tistory.com/432 oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - VM구성 1) 개요 Windows Server에 Oracle DB를 설치하고 Linux Server에 Instant Oracle Client 를 사용해 서로 연결해 둔 다음 embulk를 활용해 Windows Server의 Oracle DB의 데이터를 bigQuery로 이관하는 작업입니다... thewayitwas.tistory..
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - Oracle
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - Oracle
2021.02.271)개요 이 전편에 이어서 Windows Server에 Oracle DB를 설치하고 Ubuntu에 Oracle Instant Client를 설치해서 서로 연결해보도록 하겠습니다. (쿼리 조회로 확인해 보겠습니다.) 2)Windows Oracle Server www.oracle.com/database/technologies/oracle-database-software-downloads.html에 접속해서 설치를 진행합니다. 진행이 잘 안되면 goddaehee.tistory.com/191를 참고하면 됩니다. 설치가 완료되면 Command Shell에 sqlplus를 써서 사용하면 됩니다. 여기서 user-name을 정해주지 않았다면 sys as sysdba 를 쓰고 비밀번호는 Oracle DB설치시에 작성하..
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - VM구성
oracleDB에서 embulk를 활용해 bigQuery로 이관하는 작업 - VM구성
2021.02.251) 개요 Windows Server에 Oracle DB를 설치하고 Linux Server에 Instant Oracle Client 를 사용해 서로 연결해 둔 다음 embulk를 활용해 Windows Server의 Oracle DB의 데이터를 bigQuery로 이관하는 작업입니다. 이 포스팅에서는 VM 구성을 어떻게 할지 알아보겠습니다. 잘 안되는게 있으면 댓글로 알려주세요. 바로바로 답변 드리겠습니다. (부족한 점도,,) 2)VM구성 WIndows Server 와 Ubuntu 두개를 구성합니다. GCP의 VM으로 이동합니다. 설정파일을 적절하게 선택합니다. Machine type을 사용 목적에 맞도록 설정합니다. (N1 시리즈에 2vCPU, 7.5 GB memory로 설정해두었습니다.) 그리고, Boo..
[GCP] Streaming 처리
[GCP] Streaming 처리
2021.02.09I. 도입 기존에 Batch 데이터만 처리하다 이번 기회에 Streaming 으로 처리해보고자 Pub/Sub에 대해 공부하겠습니다. 여력이 된다면 kafka를 함께 다뤄보면서 오픈소스로 확장시켜보겠습니다. 구글 클라우드 플랫폼에서 Streaming 처리하는 방식을 우선 살펴보겠습니다. II. 아키텍처 위 사진에서 Ingest, Enrich 영역을 주의 깊게 볼 필요가 있습니다. 현재 포스터에서 시작하고자 하는건 Pub/Sub영역 입니다. 보통 제가 알기론 Pub/Sub에서 데이터를 실시간 수집, Batch 데이터를 함께 처리하게 됩니다. 혹은 Pub/Sub에서 수집한 데이터를 Batch 파일과 엮어서 저장한뒤(Google Cloud Storage)에 PTransform 을 하게 됩니다. 여기서 PTran..
다산의 마지막 공부
다산의 마지막 공부
2020.12.29책을 선정하고 후기를 작성함에 있어서 다소 주관적인 이야기가 섞여 있음을 알려드립니다. 감사합니다. 다산 정약용을 아시나요? 고등학교 국어 시간에 잠깐 나오는걸로 기억하지만 오랜 시간 지난 후에 이 책을 서점에서 봤을 때 다산이라는 사람에 대해 2초간 골똘이 생각을 하였습니다. 다산 정약용, 조선 후기의 문신 그리고 실학자, 저술가, 시인, 철학자, 과학자, 공학자로 소개되어 있습니다. 현 시대를 살아오면서 각 분야에서 최고가 되신분은 많지만 다방면에서 최고를 이루신 분은 몇 없을 거라 생각합니다. 그래서 골랐습니다. 과연 다방면에서 당대 최고라고 불렸던 다산 정약용 선생님께서 어떻게 살아오셨는지 궁금해 책을 구매해서 읽어보았습니다. 이 책을 한 줄로 요약하라 한다면 "나답게 살기 위해서 인의를 지켜라"..
BOJ_1080_행렬
BOJ_1080_행렬
2020.11.15문제유형 그리디 문제풀이 Map의 좌표를 순회합니다. 그리고 before_map 과 after_map의 한점씩을 비교합니다. 서로 다를 경우에만 뒤짚는 연산을 수행합니다. 이 문제를 그리디로 해결하지 않고 연산을 뒤짚는 경우를 고려해본다면 (N-2) * (M-2) 이 연산의 개수가 됩니다. 즉, 연산을 하는 경우 그리고 연산을 하지 않는 경우가 생기니까 2^NM 즉, 2의 2500승이 됩니다. (N과 M은 50보다 작거나 같은 자연수입니다.) 코드 package backjun; import java.util.*; import java.io.*; public class BOJ_1080_행렬 { static int row; static int column; static char[][] row_map; sta..
BOJ 1619, 최소비용구하기
BOJ 1619, 최소비용구하기
2020.11.08문제유형 다익스트라 문제풀이 다익스트라 기본 문제, 원리를 이해하고 풀면 좋습니다. 이차원 a 배열을 생성, a값을 모두 inf(1000000000) 로 초기화 x,y,z 값을 입력으로 받는다. 그리고 a[x][y] 가 z보다 큰경우 값을 업데이트 한다. (작은값을 찾아야 하므로) start, end를 입력으로 받는다. d를 배열로 생성한다. n+1 만큼 /마찬가지로 방문여부를 확인할 수 있는 c를 n+1만큼 선언 및 초기화 n만큼 d에 inf 를 업데이트, n만큼 c를 false 로 업데이트 d[start] = 0 으로 초기화 시작지점, d의 역할은 비용 이라고 보면됀다. 반복문을 n-1 만큼 순회한다. 노드의 최솟지점을 찾아야 하므로 min과 x를 선언합니다. (min은 최댓값으로 x는 -1), x는..