분류 전체보기
GCP05 :: Google Cloud Pub/Sub example
GCP05 :: Google Cloud Pub/Sub example
2020.08.12google cloud pub/sub 동작 원리를 알기 위해 간단한 예제를 수행해 보겠습니다. test라는 주제를 만들고 전송 유형(pull), 구독 만료(31일), 확인 기간(10초), 메시지 보관 기간(7일) 로 구독을 만들었습니다. 다시 구독 탭으로 돌아오면 구독이름과 주제이름으로 만들어진것을 확인할 수 있습니다. 메시지를 게시하기 위해서 cloud shell 을 이용해 추가하였습니다. 혹은 console 에서 직접 추가할 수 있습니다. 위 CLI를 통해서 게시된 메시지를 pull할 수 있습니다. 위에는 메시지를 게시 하지 않았습니다. Hello-World 를 게시하고 CLI에서 메시지를 pull하면 확인할 수 있습니다.
GCP04 :: Google Cloud Pub/Sub Dataflow를 사용한 Stream 처리방법[작성중]
GCP04 :: Google Cloud Pub/Sub Dataflow를 사용한 Stream 처리방법[작성중]
2020.08.12Cloud Storage에 포함되어 있는 csv로 bigQuery-table을 생성합니다. Google-Cloud-Platform 에서 Pub/Sub 부분에 topic을 생성합니다. BigQuery로 내보내기를 통해서 pub/sub에서 publisher 가 받은것을 Dataflow 를 통해서 bigQuery로 전달해 줄 것입니다. bigQuery로 내보내기 했을때 위와 같이 web 페이지가 로딩됩니다. 여기서 BigQuery output table 과 임시 위치를 각각 [project-id]:[schema-name].[table-name], gs://[bucket-name]/[foder-name] 으로 지정해줍니다. output table이 저장되는 위치이고 임시 위치(bucket)에서 publisher..
카프카01 :: 아파치 카프카 개요
카프카01 :: 아파치 카프카 개요
2020.08.12ㅡ. Apache Kafka Apache Kafka는 여러 대의 분산 Server에서 대량의 데이터를 처리하는 분산 메시징 시스템 입니다. 일종에 데이터를 받고 데이터를 다른 장치에 보내는데 사용됩니다. 즉, 카프카는 여러 시스템과 장치를 연결하는 역할을 수행합니다. 과연 데이터를 얼마나 많이 받을 수 있을까요? 카프카는 대량의 데이터에 대한 High-Throughput 과 Real-time을 취급하고 있습니다. 카프카는 여러 이벤트(Activity Event, Network Event etc) 에 대해 받고 이를 Datawarehouse 나 Hadoop 그리고 검색 엔진 등에 전달해주는 역할을 합니다. ㅡ. Apache Kafka History 카프카는 링크드인에서 처음 출발했습니다. 이전에는 메시지 ..
알고리즘 92 :: BOJ_내리막길(DFS, DP) [진행중]
알고리즘 92 :: BOJ_내리막길(DFS, DP) [진행중]
2020.08.121 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 package backjun; import java.io.BufferedReader; import java.io.InputStreamReader; import java.util.StringTokenizer; public class backjun_1520_내리막길 { private static int column; private static int row; private static ..
ISSUE09 :: Cannot access field name on a value with type ARRAY<STRUCT<name STRING, bytes INT64>> at [1:17]
ISSUE09 :: Cannot access field name on a value with type ARRAY<STRUCT<name STRING, bytes INT64>> at [1:17]
2020.08.11google public-data-set 에서 github의 languages 에 접근하려고 했을때 Cannot access field name on a value with type ARRAY at [1:17] 와 같은 이슈가 발생했습니다. table에서 해당 컬럼이 array 형태이기 때문에 이를 Flatten 하기 위해서 UNNEST 함수를 사용해야 합니다. select count(distinct language.name) from table -> select count(distinct n.name) from table, UNNEST(language) as n
IT05 :: 정보처리기사 문제 정리 - 9급 전산직 컴퓨터일반
IT05 :: 정보처리기사 문제 정리 - 9급 전산직 컴퓨터일반
2020.08.11ㅡ. 아날로그 신호를 디지털 신호로 변조하기 위한 펄스부호변조(PCM) 과정으로 옳지 않은 것은? *펄스부호변조 과정 : (송신측) 표본화-> 양자화 -> 부호화 -> (수신측) 복호화 -> 여파화 표양부복여 ㅡ. DBMS를 사용하는 이점으로 옳지 않은 것은? 데이터의 중복을 허용하여 데이터의 일관성을 유지한다. 데이터의 중복을 허용하지 않는다. (Atomicity) ㅡ. CPU 내의 레지스터에 대한 설명으로 옳지 않은 것은? Memory Address Register(MAR) : 데이터의 주소를 기억하는 레지스터 *Accumulator(AC) : 연산 과정의 데이터를 일시적으로 저장하는 레지스터 Program Counter(PC) : 다음에 인출될 명령어의 주소를 보관하는 레지스터 Memory Buff..
ISSUE08 :: python3 equivalent for auto tuple unpacking in lambda 이슈 발생 시
ISSUE08 :: python3 equivalent for auto tuple unpacking in lambda 이슈 발생 시
2020.08.10python 으로 dataflow ETL 코드를 구성하다가 lambda 로 작성되는 코드에 발생되는 이슈였습니다. lambda(x,y) : x+y 의 python3에서 auto tuple unpacking 을 lambda에서 지원해주지 않으므로 lambda x_y : x_y[0] + x_y[1] 로 작성하시면 됩니다. *ref : https://stackoverflow.com/questions/21892989/what-is-the-good-python3-equivalent-for-auto-tuple-unpacking-in-lambda
알고리즘91 :: 응용 알고리즘(선택정렬, 버블정렬, 삽입정렬)
알고리즘91 :: 응용 알고리즘(선택정렬, 버블정렬, 삽입정렬)
2020.08.09ㅡ. 선택정렬 나열되어 있는 숫자를 차례대로 비교해보면서 가장 작은 수를 맨 앞에 두는 정렬 방법입니다. e.g) 8, 5, 6, 2, 4 첫번째 정렬 5, 8, 6, 2, 4 (첫번째 자리와 두번째 자리를 swap, 더 작은 쪽이 앞으로) => 그 다음에 5와 6을 비교합니다. 5, 8, 6, 2, 4 (5가 더 작으므로 현 상태 유지) => 그 다음에 5와 2를 비교 합니다. 2, 8, 6, 5, 4 (2가 더 작은 수 이므로 5, 2 swap) => 그 다음에 2와 4를 비교합니다. 2, 8, 6, 5, 4 (2, 4 중 2가 더 작으므로 변화 없음) 두번째 정렬 2, 8, 6, 5, 4 상태에서 8을 기준으로 (첫번째 정렬에서 첫번째 위치를 봤으므로 다음위치를 보게 됩니다.) => 8과 6을 비교..
Spring01 :: Spring
Spring01 :: Spring
2020.08.08ㅡ. Spring 이란? Application을 자바로 개발하는데 유용하고 편리한 기능을 제공하는 프레임워크 ㅡ. IoC 의존 관계 주입 이라고 합니다. 의존 객체를 만들어서 쓰는것이 아니라, 생성자 만들어서 주입받아서 사용합니다. 사용하는 이유는 컨테이너 안에 빈들이 존재하는데 이것들을 사용한다고 생각하시면 될것 같습니다. Spring 초기에는 XML 작성되었지만, 지금은 annotation 기반의 dependency injection을 제공하게 됩니다. 최상위 root 클래스 BeanFactory이 존재합니다. bean 설정 파일이 있어야 한다. (xml) History. 1. *ref:다른 bean을 참조해야 합니다.(다른 bean의 id가 와야 합니다.) => service는 repository와..
NCP02 :: NCA 2일차
NCP02 :: NCA 2일차
2020.08.05NCA 교육을 들으면서 중요하다고 생각하는 부분을 작성해봤습니다. 이어서 오토스케일링 부분을 살펴보면, 오토스케일링 ㅡ. Launch Configuration 구성 서버 이미지 선택 > 서버 설정 > 이름 설정 > 인증키 설정 > 네트워크 접근 설정 > 최종 확인, 과정을 거치게 됩니다. Storage / Database ㅡ. Object Storage Sub Account 와 연동으로 접근을 제어할 수 있습니다. ㅡ. Archive Storage 장기백업에 최적화되어 있습니다. Sub Account와 연동으로 접근을 제어할 수 있습니다. ㅡ. Data Teleporter 특별한 하드웨어 장치를 이용해서 대용량 데이터를 이전을 지원해주고 있습니다. (Max. 100T), 지원 프로토콜은 NFS, SAMB..
NCP01 :: NCA 1일차
NCP01 :: NCA 1일차
2020.08.04NCA 교육을 들으면서 생각나는 것들을 정리해 봅니다. 네이버 클라우드 플랫폼 인프라 상품군 네이버 클라우드 플랫폼으로 이동하면 여러 서비스를 확인할 수 있습니다. Virtual Dedicated Server : 전용 서버를 제공해준다. 이외에도 Storage, Networking, Hybrid 많은 서비스들을 제공해줍니다. 설치형 MySQL, MSSQL, Maria DB가 있는데 완전 관리형을 제공해주지 않으므로 HA 구성과 백업을 별도로 요구하게 됩니다. Clova Premium Voice(CPV) : End-to-End 음성 합성 기술, 고품질 Neural Vocoder, 감정을 반영한 음성 합성기 제공해준다.*ref : 존과 리전 리전에서 가용영역을 구성할 수 있는데 Zone 이라고 한다. 현재 ..
영어회화18 :: 기본표현
영어회화18 :: 기본표현
2020.08.041.be+verb Be verbs are am, are, is, was, were, been and being. We only only use be as to be. "Be" verbs indicate a state of being. *ref: https://www.ecenglish.com/learnenglish/lessons/be-verbs Be Verbs | Learn English www.ecenglish.com 2. call for 필요로 하다. e.g) This calls for a fist bump. 주먹 다짐이 필요할 수 도 있겠습니다. *fist bump fist bump (also known as a bro fist,[1] power five, tater, PIB (as in pound ..