GCP06 :: Google Cloud Pub/Sub Dataflow를 사용한 Stream 처리방법

템플릿에서 작업 만들기를 진행하였습니다. `Cloud Dataflow template` 부분에서 PubSub to BigQuery를 선택합니다. 

Pub/Sub Topic to BigQuery 선택 하였습니다. (수정)

그 다음에 pub/sub 으로 가서 주제를 생성해줍니다. 이름은 pubsubdemo 로 설정하였습니다. 

주제 이름을 복사해서 

dataflow의 Input Pub/Sub Topic에 넣어줍니다. 

 

bigQuery로 이동해서 데이터세트를 생성하였습니다. demo

 

그리고 테이블도 생성하였습니다. 

다시 dataflow로 가서 BigQuery output table에 [project-id]:[dataset-name].[table-name] 으로 입력합니다. 

storage위치는 gs://[project-id]/[folder-name] 으로 입력합니다. 

실행을 누릅니다. 그러면 job이 실행이 됩니다. (* 임시위치에서 존재하지 않는 경로라면 ERROR message 리턴됨)

작업정보를 보면 streaming 인 사실이 중요합니다. 

pub/sub에서 topic pubsubdemo 에 메시지를 게시합니다. 

message를 게시했기 떄문에 작업자가 1이라는 사실을 확인할 수 있습니다.