Pub/Sub

bigQuery table 에서 event stream 을 수행하면서 publisher 의 topic에 message를 전송하고 이를 apache-beam 상에서 코드로 동작시켜 ETL을 수행하는것까지 진행!! event stream은 local에서 compute engine 동작시켜서 stream이 끝날 때까지 수행하는것을 역할로 잡았습니다. 미리 public-data-set 의 stackoverflow dataset을 bigQuery table로 Import 했습니다. 제가 이 테스팅을 진행하는건 tags 와 view_count를 가지고 중복되는 tags 이름에 총 몇번의 view_count를 가지고 있는지 확인하려고 합니다. (물론 | 기준으로 split 해야합니다.) pub/sub에서 stream..

템플릿에서 작업 만들기를 진행하였습니다. `Cloud Dataflow template` 부분에서 PubSub to BigQuery를 선택합니다. Pub/Sub Topic to BigQuery 선택 하였습니다. (수정) 그 다음에 pub/sub 으로 가서 주제를 생성해줍니다. 이름은 pubsubdemo 로 설정하였습니다. 주제 이름을 복사해서 dataflow의 Input Pub/Sub Topic에 넣어줍니다. bigQuery로 이동해서 데이터세트를 생성하였습니다. demo 그리고 테이블도 생성하였습니다. 다시 dataflow로 가서 BigQuery output table에 [project-id]:[dataset-name].[table-name] 으로 입력합니다. storage위치는 gs://[project..

google cloud pub/sub 동작 원리를 알기 위해 간단한 예제를 수행해 보겠습니다. test라는 주제를 만들고 전송 유형(pull), 구독 만료(31일), 확인 기간(10초), 메시지 보관 기간(7일) 로 구독을 만들었습니다. 다시 구독 탭으로 돌아오면 구독이름과 주제이름으로 만들어진것을 확인할 수 있습니다. 메시지를 게시하기 위해서 cloud shell 을 이용해 추가하였습니다. 혹은 console 에서 직접 추가할 수 있습니다. 위 CLI를 통해서 게시된 메시지를 pull할 수 있습니다. 위에는 메시지를 게시 하지 않았습니다. Hello-World 를 게시하고 CLI에서 메시지를 pull하면 확인할 수 있습니다.

Cloud Storage에 포함되어 있는 csv로 bigQuery-table을 생성합니다. Google-Cloud-Platform 에서 Pub/Sub 부분에 topic을 생성합니다. BigQuery로 내보내기를 통해서 pub/sub에서 publisher 가 받은것을 Dataflow 를 통해서 bigQuery로 전달해 줄 것입니다. bigQuery로 내보내기 했을때 위와 같이 web 페이지가 로딩됩니다. 여기서 BigQuery output table 과 임시 위치를 각각 [project-id]:[schema-name].[table-name], gs://[bucket-name]/[foder-name] 으로 지정해줍니다. output table이 저장되는 위치이고 임시 위치(bucket)에서 publisher..