분류 전체보기
알림 시스템 설계
알림 시스템 설계
2024.12.15알림 시스템 설계 개요알림 시스템은 이벤트, 선물 중요할 만한 정보를 비동기적으로 제공한다. 알림 시스템은 단순히 모바일 푸시 알림에 한정되지 않는다. 1단계 문제 이해 및 설계 범위 확정대상은 푸시 알림, SMS 메시지, 그리고 이메일이 될 수 있다. 실시간 시스템임을 감안한다. 지원하는 단말은 iOS 단말, 안드로이드 단말, 그리고 랩톱/데스크톱이다.지원 알림 유형: 푸시, SMS, 이메일성능 특성: 연성 실시간(soft real-time) 시스템, 높은 부하 시 약간의 지연 허용사용자 설정: opt-out 기능(사용자가 알림을 받지 않도록하는 기능) 지원중요한건 확장성을 고려해 천만 건의 모바일 푸시 일림, 백만 건의 SMS 메시지, 5백만 건의 이메일 보낼 수 있어야 한다. 단말 토큰페이로드알..
RxParallelRunner 소개
RxParallelRunner 소개
2024.12.02소개앱에서 대량의 데이터를 읽거나 분석하는 작업은 처리 속도가 느리면 사용자 경험에 부정적인 영향을 미칠 수 있다. 이것을 최근에 겪어서 성능 처리에 대한 고민이 깊어졌다. 우선.. RxParallelRunner 이 남용되서 사용되었던 점이 문제였다. 이번 기회에 RxParallelRunner 를 다뤄서 제대로 사용해보고자 한다! 대규모 데이터를 병렬로 처리하는 앱 개발 중, 다음과 같은 문제에 직면할 수 있다.1. 작업 속도 문제- 처리해야할 데이터가 커지면 작업이 느려진다. 2. 자원 관리 문제- 작업이 많아질경우 스레드 수 증가로 GC가 과도하게 발생될 수 있다.3. 스레드 관리 문제- 모든 과하면 탈난다. 스레드가 과도하게 생성되면 비효율적이다. RxParallelRunner 란?RxParall..
Internal, external gateway 에 대해서
Internal, external gateway 에 대해서
2024.11.25아래 그림은 서버와 클라이언트가 API Gateway를 통해 통신하는 구조를 보여주는데 처음 보면 다소 복잡해 보일 수 있지만, Gateway는 이 과정을 효율적으로 관리해 준다. API Gateway는 내부 서비스 간 통신을 담당하는 Internal Gateway와 외부 클라이언트 요청을 처리하는 External Gateway로 나누게 되는데, 이번 글에서는 이를 알아보려 한다. API Gateway: MSA 환경에서 External Gateway와 Internal Gateway 차이모놀리틱 구조에서는 모든 컴포넌트가 하나의 애플리케이션 안에서 동작했었다. 통신 레이어가 필요하지 않았고, 변경 시 시스템 전체에 영향을 미치곤했었다. 그래서 이를 해결하기 위해 MSA(Microservices Archit..
몽고디비 인덱스 정리
몽고디비 인덱스 정리
2024.11.03인덱싱 소개인덱스를 사용하지 않은 쿼리를 컬렉션 스캔이라고 한다. 인덱스를 선택할때는 자주 사용되는 열을 적용하는것이 효과적이다. 예를들어, 자주 중복되지 않은 ID나 이메일 컬럼에 인덱스를 설정하면 좋다. 인덱스 생성인덱스가 생성된 후에 아래와 같이 쿼리해보면 executionTimeMillis 가 1s로 쿼리 시간을 단축시켜준다. 하지만, 인덱싱은 필드를 변경하는 쓰기 작업은 오래 걸린다. 데이터가 변경될때 도큐먼트만 아니라 모든 인덱스를 갱신해줘야 하기 때문이다. (인덱스는 필드의 순서값을 유지하기 때문이다.) 복잡한 인덱스 소개아래 쿼리는 email 로 정렬한 후에 name으로 정렬한다. 우리가 미리 만들어둔 name으로 정렬하는건 크게 도움이 되지 않는다. 정렬을 최적화하기 위해서는 email,..
Kubernetes
Kubernetes
2024.10.27Kubernetes란?Kubernetes는 컨테이너화된 워크로드와 서비스를 관리하기 위한 이식할 수 있고, 확장 가능한 오픈소스 플랫폼으로, 선언적 구성과 자동화를 모두 지원한다.Traditional Deployment : 초기 조직은 애플리케이션을 물리 서버에서 실행했다. 한 물리 서버에서 여러 애플리케이션의 리소스 한계를 정의할 방법이 없었기에, 리소스 할당의 문제가 발생했다.Virtualized Deployment: 그 해결책으로 가상화가 도입되었다. 이는 단일 물리 서버의 CPU에서 여러 가상 시스템 (VM)을 실행할 수 있게 하였다. 가상화를 사용하면 VM간에 애플리케이션을 격리하고 애플리케이션의 정보를 다른 애플리케이션에서 자유롭게 액세스 할 수 없으므로, 일정 수준의 보안성을 제공할 수 있다..
ConcurrentHashmap 동시성 처리 방법
ConcurrentHashmap 동시성 처리 방법
2024.10.13ConcurrentHashMap 이란?Java의 동시성을 지원하는 HashMap의 변형이다. 여러 스레드가 동시에 데이터에 접근하고 수정할 때 발생할 수 있는 문제를 해결하기 위해 설계된 자료구조이다. 기본적으로 Java 의 HashMap은 스레드에 안전하지 않기 때문에 여러 스레드가 동시에 접근할 경우 데이터 무결성이 깨질 수 있다. HashTable/Synchronized Map 은 전체 lock 을 걸어 사용하고 있기 때문에 thread-safe 한 면은 있지만 성능 오버헤드를 발생시킨다. 세그먼트라는 작은 해시 테이블 여러 개를 만들어서 관리한다. 위 그림을 보면 보다 명확하게 알 수 있다. HashMap, Synchronized 는 synchronized 키워드로 HashMap 메서드를 래핑해..
가상 면접 사례로 배우는 대규모 시스템 설계 기초 4장
가상 면접 사례로 배우는 대규모 시스템 설계 기초 4장
2024.10.06처리율 제한 장치특정 시간 동안 네트워크를 통해 전송되는 데이터의 양이나 서비스에 대한 요청 수를 제한하는 장치나 소프트웨어를 의미한다.API 처리 장치의 장점Denial of Service 공격 방지DOS 라고 하며 인터넷이나 네트워크에 연결된 서비스나 서버를 대상으로 공격자가 정상적인 사용자나 시스템이 서비스를 이용하지 못하도록 의도적으로 과부하를 일으키는 사이버 공격을 방지한다. 서비스에 대한 요청 수를 제한하기 때문에 비용이 절감될 수 있다.서버 과부하를 막는 목적도 있다.시스템 설계 4단계 접근법을 적용1단계 문제 이해 및 설계 범위 확정 요구사항 설정되어 있는 처리율을 초과하는 요청은 제한한다. HTTP 응답시간에 나쁜 영향을 주면 안되니 낮은 응답시간을 전제로 한다.적은 메모리하나의 처리율 ..
[VMware Tanzu] Spring Boot 밋업 with Josh Long
[VMware Tanzu] Spring Boot 밋업 with Josh Long
2024.09.29인프런에 퇴근길 밋업으로 영상 제공되는게 있어서 들어보았다. 처음에는 개 입양서비스를 만드는 부분에 대해서 실시간 라이브 코딩을 진행했다. 스피커 Josh Long 분께서 말을 너무 잘하셔서 놀랐다.Spring Project를 바로 만드셨고 아래 Dependencies 를 하나씩 추가하셨다. 로컬호스트에서 프로젝트를 실행하고 데이터베이스까지 연결 확인해보려고 했는데 우선은 데이터가 없어서 스킵했다! 코드에서 Data Oriented Programming 방식을 지원하는데 Java 버전이 17 이후로 올라가면서 다음 문법들을 지원하게 되었다. sealed typesrecordspattern matching smart switch expressions 이러한 방식을 지원하는건 자바가 대규모 프로그래밍에서 ..
spring batch partitioning
spring batch partitioning
2024.09.22spring batchmasterstep 이 slavestep 을 실행시키는 구조slavestep은 독립적으로 실행slavestep은 stepExecution 파라미터 환경 구성slavestep은 다음으로 구성(하위)ItemReader - ItemProcessor - ItemWriter - masterstep은 partitionStep 이다.(하위)slavestep은 taskletstep, flowstep 이 올 수 있다. partitioningpartitionStep파티셔닝 기능을 수행하는 Step 구현체PartitionHandlerPartitionStep 에 의해 호출되며 스레드를 생성해서 WorkStep을 병렬로 실행한다.StepExecutionSplitterWorkStep에서 사용할 StepExe..
카프카 주요 요소
카프카 주요 요소
2024.09.16kafka와 kafka 아키텍처의 주요 구성 요소Event/Message 전송을 위해 사용된다.장점 : 고가용성, 빠른 처리단점 : 순서보장이 어렵다. 아주 작게 사용이 어렵다.Distributed 나눠서 작업할 수 있다. Pub/sub -> 전달하는 쪽은 전달받은 쪽에 관여할 필요가 없다.Product, Consumber 가 존재한다.Server : Broker, Zookeeper는 Broker간의 분산처리 정보가 관리된다.3개 이상의 Broker 로 구성KSQL, Connector, Kstream 등의 추가 모듈KRaft를 통해 zookeeper 제거할 수 있음(Not Stable) RabbitMQErlang 으로 AMQP를 구현한 Message Broker SystemKafkaProducer -> ..
Spring Batch 멀티 프로세스
Spring Batch 멀티 프로세스
2024.09.09FutureTask FutureTask task = new FutureTask(Callable) - Thread 가 수행하는 Task로서 Callable 을 실행시키고 결과를 Future에 담아 반환 - Runnable 은 스레드를 실행하고 코드를 실행할 수 있는 인터페이스를 제공하며, 반환 값을 가질 수 없다. 반면에 Callable 은레드를 실행하고 코드를 실행하면서 반환 값을 가질 수 있다. 스프링 배치 멀티 스레드 프로세싱Step 안에 ItemProcessor 가 비동기적으로 동작하는 구조AsyncItemProcessor 와 AsyncItemWriter 가 함께 구성이 되어야 함기본 처리 방식은 아래와 같다. JobStepItemReaderAsyncItemProcessor -> Item..
Spring Batch 5 migration guide
Spring Batch 5 migration guide
2024.09.01개요Spring Batch 5.0부터 JobBuilderFactory와 같은 일부 팩토리 클래스들이 deprecated 되었고, 대신 직접 빌더를 생성하는 방식으로 변경팩토리 메서드는 보통 매개변수가 숨겨져 있는 경우가 많아 코드의 동작을 이해하는 데에 다소 어려움 해결Spring Batch 5.0 Migration Guidetasklet, chunkTransactionManager 추가PlatformTransactionManager는 Spring이 제공하는 트랜잭션 관리 인터페이스로, 일반적으로 데이터베이스와 관련된 트랜잭션을 관리합니다.JobConfig 또는 BatchConfig에서 주입받는 PlatformTransactionManager는 보통 Spring이 관리하는 DataSourceTransac..