꽥블로그

Kibana - Elasticsearch 연동하면서 발생한 트러블 슈팅

Kibana - Elasticsearch 연동하면서 발생한 트러블 슈팅

Google Cloud Platform에서 pub/sub으로 streaming 데이터 수집하는 과정 fluentd ⇢ ELK (ES, Kibana) 아키텍처 수립 후 구현하는 과정에서 ES, Kibana를 VM위에 설치 및 운영하는 과정에서 발생하는 트러블 슈팅에 대해 작성해보고자 합니다. 1. Kibana server is not ready yet 이 경우 Kibana 설치 버전과 Elastic Search 설치 버전이 같은지 확인하여야 합니다. (호환성 이슈) elastic search 설치 버전 확인 kibana 설치 버전 확인 - kibana의 경우 status를 확인해도 버전을 확인할 수 없어 log file에서 확인해 볼 수 있었습니다. log file중 kibana 의 버전 확인 2. 그럼에..
AWS & GCP DevOps PRO Certificate 취득기

AWS & GCP DevOps PRO Certificate 취득기

그간 공부했던 내용을 정리하며 AWS & GCP DevOps PRO Certificate 취득기를 정리하고자 합니다. 시험 후기 [1] AWS 시험장소 시험장소는 종로에 있는 솔데스크에 가서 보았습니다. 온라인으로 시험을 치게 되면 신분증으로는 안되서 여권이 없던 상황이라 직접 가서 시험을 볼 수 밖에 없었습니다. 시간보다 조금 일찍 가서 신분증 검사랑 몇가지 인적사항을 적었습니다. 시험장에 들어갈 때는 휴대용 기기, 지갑, 시계 다 사물함에 보관하고 시험장으로 이동합니다. 시험 신청비는 $300 입니다. 시험시간 및 문제 180분동안 75문제를 해결해야 했습니다. 시간은 모자라지 않지만 끝까지 문제를 풀 수 있는 집중력 그리고 공부했던 내용에 대해 잘 응용해서 정답을 골라야 합니다. 객관식 4지선다형으..
AWS redshift 와 GCP bigQuery 차이

AWS redshift 와 GCP bigQuery 차이

시작 클라우드에서 데이터 처리 및 분석하는데 가장 핵심적인 부분은 Data Warehouse 입니다. 각 벤더사에서 AWS, GCP에서 제공하는 Data Warehouse는 redshift 와 bigQuery 가 있습니다. 이 포스팅에서는 두 DW의 차이에 대해 알아보겠습니다. 다른 포스팅에 비해 부족한 내용이겠지만 각각의 서비스에 대한 설명과 가격, 보안, 사용, 성능, 가용성 분류로 차이에 대해 나열해 보겠습니다. redshift AWS에서 제공하는 데이터웨어하우스의 역할로 수백 기가 바이트부터 페타바이트 이상까지 데이터를 확장해서 저장할 수 있습니다. 데이터 전송시 최대 100Gbps 대역을 가질 수 있습니다. redshift을 동작하기 전에 cluster를 구성해야 하는데 프로비저닝 작업을 수행해..
Spring Boot CORS 설정하기

Spring Boot CORS 설정하기

CORS 란? Cross-Origin Resource Sharing, CORS 다른 출처의 자원을 공유할 수 있도록 설정하는것을 말합니다. CORS를 제대로 설정하지 않으면 원하는 리소스를 공유받지 못한다. CORS 문제를 Spring으로 해결하는 방법을 체크해본다. Configuration 해결하기 addMapping registry.addMapping 을 이용해서 CORS를 적용할 URL패턴을 정의할 수 있다. 아래처럼 "/**" 와일드 카드를 사용할 수 있다. @Configuration public class WebConfig implements WebMvcConfigurer { @Override public void addCorsMappings(CorsRegistry registry) { regi..
캐시방법

캐시방법

ConcurrentHashMap ConcurrentHashMap은 Thread-Safe 합니다. 동시성 작업에 최적화된 Map 클래스이고, 이 자료구조를 이용해서 캐시를 구현할 수 있습니다. 캐시에서 값을 가져오는 경우 ConcurrentHashMap 에서 해당 키를 사용하여 값을 가져올 수 있습니다. 또, 각 항목에 만료 시간 필드를 추가하여 만료 시간을 추적할 수 있습니다. 만료시간이 5분이라면 아래와 같이 코드를 작성할 수 있습니다. ConcurrentHashMap map = new ConcurrentHashMap(); long expiryTime = System.currentTimeMillis() + (5 * 60 * 1000); // 5분 후 map.put("key1", new MyObject(..
ISSUE11 :: google.api_core.exceptions.DeadlineExceeded: 504 Deadline Exceeded

ISSUE11 :: google.api_core.exceptions.DeadlineExceeded: 504 Deadline Exceeded

Google Cloud Pub/Sub 을 쓰다가 해당 이슈를 만났다. 나는 PipelineOptions 에다 return_immediately=True 옵션을 주었다. 우선은 publisher 에서 topic으로 message를 전송할때 dataflow에서 pub/sub을 잘 읽어오긴한다.. *ref : https://github.com/googleapis/python-pubsub/issues/36 google.api_core.exceptions.DeadlineExceeded: 504 Deadline Exceeded · Issue #36 · googleapis/python-pubsub Hi We are using google pub sub api for implementing the publisher /..
스프링 클라우드 슬루스와 집킨 정리

스프링 클라우드 슬루스와 집킨 정리

스프링 클라우드 슬루스와 상관관계 ID상관관계 ID가 존재하지 않는다면 상관관계 ID를 생성해서 서비스 호출에 삽입한다.아웃바운드 서비스 호출에 대한 상관관계 ID 전파를 관리하여 트랜잭션에 대한 상관관계 ID가 자동으로 추가되도록 한다.서비스 A는 서비스 B에 HTTP 요청을 보낼 때, HTTP 헤더에 X-Correlation-ID: abc123를 포함시켜 보낸다.서비스 B는 요청을 수신하여 X-Correlation-ID 헤더에서 상관관계 ID를 읽어들이고, 이 ID를 사용하여 자신의 작업을 추적한다.@Configurationpublic class FeignConfig { @Bean public RequestInterceptor requestInterceptor() { r..

최신 글

DAG, 위상정렬(feat. BOJ. 줄세우기)

DAG, 위상정렬(feat. BOJ. 줄세우기)

위상정렬위상정렬(Topological Sorting)은 방향성 비순환 그래프(Directed Acyclic Graph, DAG)의 노드들을 선형으로 정렬하는 알고리즘입니다. 이 정렬은 그래프의 모든 간선이 방향성에 맞도록 순서대로 나열되도록 합니다.DAG = 사이클이 없는 방향 있는 그래프를 의미합니다. 선행그래프 구조를 가지고 있습니다.DAG 에서 할 수 있는 알고리즘은 위상정렬 알고리즘이 활용됩니다. BFS 알고리즘을 응용해서 구현할 수 있습니다.위상정렬에서 주목해서 봐야할 것은 순서와 큐 입니다. 이 상태에서 인디그리가 0인 상태인 얘들을 큐에 넣어줍니다. 큐 : 1,2,3 이 존재하고 (왜냐하면 1,2,3 노드로 들어오는 화살표가 0) 여기서 하나씩 빼면서 BFS 과정을 거쳐주게 됩니다.순서 :..
알고리즘 펜윅 트리

알고리즘 펜윅 트리

시작펜윅 트리, 세그먼트 트리에서 변형된 형태입니다. 대표적으로 구간 합 알고리즘을 O(N)보다 빠르게 풀고자 할 때 펜윅 트리를 사용합니다.일반적으로 구간 합을 구할 때 O(N) 정도의 시간이 걸립니다.펜윅 트리(BIT = Binary Indexed Tree) 이용하게 되면 O(logN) 으로 시간 복잡도를 감소 시킬 수 있습니다. 전체 노드의 부분 합 즉, 0~K 합을 구해 두게 되면 원하는 구간 합 S~D를 구하는 것이 가능해 집니다. (Start ~ Destination)O(logN) 의 수행시간 만으로 구간합을 구할 수 있게 됩니다. 구간 합 외에도 같은 원리로 업데이트도 수행할 수 있게 됩니다. 펜윅트리 구조일반적으로 펜윅 트리 구조는 아래와 같이 세그먼트 트리를 응용한 형태로 구조를 정형화..
35. Search Insert Position

35. Search Insert Position

문제 정의 주어진 정렬된 배열에서 목표 값을 찾고, 찾지 못하면 목표 값이 삽입될 인덱스를 반환하는 문제입니다. 이 문제는 O(log n) 시간 복잡도로 해결해야 합니다. https://leetcode.com/problems/search-insert-position/description/Given a sorted array of distinct integers and a target value, return the index if the target is found. If not, return the index where it would be if it were inserted in order. You must write an algorithm with O(log n) runtime complexity...
979. Distribute Coins in Binary Tree

979. Distribute Coins in Binary Tree

You are given the root of a binary tree with n nodes where each node in the tree has node.val coins. There are n coins in total throughout the whole tree.In one move, we may choose two adjacent nodes and move one coin from one node to another. A move may be from parent to child, or from child to parent.Return the minimum number of moves required to make every node have exactly one coin.Example 1..
밀렸던 릿코드 풀기 (232, 150, 739, 2966, 1291)

밀렸던 릿코드 풀기 (232, 150, 739, 2966, 1291)

릿코드 문제가 영어라 접근하기 쉽지 않지만 그래도 풀어보면 자료구조에 대해 이해할 수 있어서 좋은점이 많다. 첫문제는 비교적 쉬운 문제이다. 232. Implement Queue using Stacks 처음에 접근할 때는 HashSet 을 사용해보려고 했는데 순서가 보장이 안되더라.. 왜냐하면 내부적으로 해시테이블을 구현하는데 해시함수에 의해서 순서가 달라진다. LinkedHashSet을 이용하면 풀 수 있을거 같다.(+ 정렬되어있다면 TreeSet을 이용할 수 있다. 추가, 삭제, 조회 작업시 O(logn) 으로 수행된다. ) 근데 접근하기 편한 ArrayList 를 써서 풀었다. 😎 Time Complexity push - O(1) pop - O(n) //비효율적 peek - O(1) empty - ..
kakao_광고삽입

kakao_광고삽입

광고 삽입 문제 설명 카카오TV에서 유명한 크리에이터로 활동 중인 죠르디는 환경 단체로부터 자신의 가장 인기있는 동영상에 지구온난화의 심각성을 알리기 위한 공익광고를 넣어 달라는 요청을 받았습니다. 평소에 환경 문제에 관심을 가지고 있던 "죠르디"는 요청을 받아들였고 광고효과를 높이기 위해 시청자들이 가장 많이 보는 구간에 공익광고를 넣으려고 합니다. "죠르디"는 시청자들이 해당 동영상의 어떤 구간을 재생했는 지 알 수 있는 재생구간 기록을 구했고, 해당 기록을 바탕으로 공익광고가 삽입될 최적의 위치를 고를 수 있었습니다. 참고로 광고는 재생 중인 동영상의 오른쪽 아래에서 원래 영상과 동시에 재생되는 PIP(Picture in Picture) 형태로 제공됩니다. 다음은 "죠르디"가 공익광고가 삽입될 최적..
kakao_표편집

kakao_표편집

표 편집 문제 설명 [본 문제는 정확성과 효율성 테스트 각각 점수가 있는 문제입니다.] 업무용 소프트웨어를 개발하는 니니즈웍스의 인턴인 앙몬드는 명령어 기반으로 표의 행을 선택, 삭제, 복구하는 프로그램을 작성하는 과제를 맡았습니다. 세부 요구 사항은 다음과 같습니다 위 그림에서 파란색으로 칠해진 칸은 현재 선택된 행을 나타냅니다. 단, 한 번에 한 행만 선택할 수 있으며, 표의 범위(0행 ~ 마지막 행)를 벗어날 수 없습니다. 이때, 다음과 같은 명령어를 이용하여 표를 편집합니다. "U X": 현재 선택된 행에서 X칸 위에 있는 행을 선택합니다. "D X": 현재 선택된 행에서 X칸 아래에 있는 행을 선택합니다. "C" : 현재 선택된 행을 삭제한 후, 바로 아래 행을 선택합니다. 단, 삭제된 행이 가..

모든 글

티스토리툴바