IT
가상 면접 사례로 배우는 대규모 시스템 설계 기초 4장
가상 면접 사례로 배우는 대규모 시스템 설계 기초 4장
2024.10.06처리율 제한 장치특정 시간 동안 네트워크를 통해 전송되는 데이터의 양이나 서비스에 대한 요청 수를 제한하는 장치나 소프트웨어를 의미한다.API 처리 장치의 장점Denial of Service 공격 방지DOS 라고 하며 인터넷이나 네트워크에 연결된 서비스나 서버를 대상으로 공격자가 정상적인 사용자나 시스템이 서비스를 이용하지 못하도록 의도적으로 과부하를 일으키는 사이버 공격을 방지한다. 서비스에 대한 요청 수를 제한하기 때문에 비용이 절감될 수 있다.서버 과부하를 막는 목적도 있다.시스템 설계 4단계 접근법을 적용1단계 문제 이해 및 설계 범위 확정 요구사항 설정되어 있는 처리율을 초과하는 요청은 제한한다. HTTP 응답시간에 나쁜 영향을 주면 안되니 낮은 응답시간을 전제로 한다.적은 메모리하나의 처리율 ..
[VMware Tanzu] Spring Boot 밋업 with Josh Long
[VMware Tanzu] Spring Boot 밋업 with Josh Long
2024.09.29인프런에 퇴근길 밋업으로 영상 제공되는게 있어서 들어보았다. 처음에는 개 입양서비스를 만드는 부분에 대해서 실시간 라이브 코딩을 진행했다. 스피커 Josh Long 분께서 말을 너무 잘하셔서 놀랐다.Spring Project를 바로 만드셨고 아래 Dependencies 를 하나씩 추가하셨다. 로컬호스트에서 프로젝트를 실행하고 데이터베이스까지 연결 확인해보려고 했는데 우선은 데이터가 없어서 스킵했다! 코드에서 Data Oriented Programming 방식을 지원하는데 Java 버전이 17 이후로 올라가면서 다음 문법들을 지원하게 되었다. sealed typesrecordspattern matching smart switch expressions 이러한 방식을 지원하는건 자바가 대규모 프로그래밍에서 ..
Spring Batch 5 migration guide
Spring Batch 5 migration guide
2024.09.01개요Spring Batch 5.0부터 JobBuilderFactory와 같은 일부 팩토리 클래스들이 deprecated 되었고, 대신 직접 빌더를 생성하는 방식으로 변경팩토리 메서드는 보통 매개변수가 숨겨져 있는 경우가 많아 코드의 동작을 이해하는 데에 다소 어려움 해결Spring Batch 5.0 Migration Guidetasklet, chunkTransactionManager 추가PlatformTransactionManager는 Spring이 제공하는 트랜잭션 관리 인터페이스로, 일반적으로 데이터베이스와 관련된 트랜잭션을 관리합니다.JobConfig 또는 BatchConfig에서 주입받는 PlatformTransactionManager는 보통 Spring이 관리하는 DataSourceTransac..
몽고디비 모델링, 자주사용하는 연산자 정리
몽고디비 모델링, 자주사용하는 연산자 정리
2024.08.19몽고디비(MongoDB)와 관계형 데이터베이스(RDBMS) 간의 모델링 차이관계형 데이터베이스에서는 보통 데이터를 여러 테이블에 나누어 저장합니다. 예를 들어, "사용자(User)"와 "주문(Order)"이라는 두 개의 테이블이 있다고 가정해보겠습니다.User 테이블 user_id (Primary Key) name email ...Order 테이블 order_id (Primary Key) user_id (Foreign Key referencing User) product_name order_date ... 이러한 구조에서, 특정 사용자의 모든 주문을 조회하려면 두 테이블을 조인(join)해야 합니다. 이는 다음과 같은 SQL 쿼리로 표현될 수 있습니다.SELECT u.name, o.product_name..
가상 면접 사례로 배우는 대규모 시스템 설계 기초 2장 - 개략적인 규모 추정
가상 면접 사례로 배우는 대규모 시스템 설계 기초 2장 - 개략적인 규모 추정
2024.07.28개략적인 규모 측정시스템 용량, 성능 요구사항을 추정하라고 할때 개략적인 규모 측정을 하게 됩니다. 2의 제곱 수데이터 볼륨의 단위를 2의 제곱수로 표현할 수 있는 최소 단위 1바이트이고 8비트로 구성됩니다.1킬로바이트 = 2의 10승1메가바이트 = 2의 20승1기가바이트 = 2의 30승1테라바이트 = 2의 40승1페타바이트 = 2의 50승 모든 프로그래머가 알아야 하는 응답지연 값 디스크 탐색 (seek) = 10ms데이터 볼륨메모리는 빠르고, 디스크는 느리다.디스크 탐색(seek)은 가능한 피해야 한다.단순한 압축 알고리즘은 빠르다.데이터를 인터넷으로 전송하기 전에 가능한 압축해야한다.데이터 센터는 보통 여러 지역(region)에 분산되어 있고, 센터들 간에 데이터 주고받는 데에 시간이 소요된다.가용..
가상 면접 사례로 배우는 대규모 시스템 설계 기초 1장 - 사용자 수에 따른 규모 확장성 (2)
가상 면접 사례로 배우는 대규모 시스템 설계 기초 1장 - 사용자 수에 따른 규모 확장성 (2)
2024.07.21캐시 사용시 주의점갱신은 자주 일어나지 않지만 참조는 빈번이 일어난다면 고려할만 하다.일반적으로 RAM에서 동작캐시는 휘발성이므로 영속적으로 보관할 데이터는 캐시에 두는것이 바람직하지 않다.캐시는 언제 어떻게 만료(expire)되는가?에 대한 정책을 수립할 필요가 있다. 만료시간을 너무 짧게, 너무 길게 가져가지 않도록 주의해야한다.데이터베이스와 일관성을 어떻게 유지할 것인가? 에 대한 생각도 해봐야한다. 찾아보니 이는 논문도 나올정도로 많은 연구가 진행되고 있는 것 같다.장애에는 어떻게 대처할 지도 생각해봐야한다. 캐시 서버를 하나로 두면 해당 서버는 단일 장애 지점이 되어버릴 가능성이 있다. 때문에 여러 지역에 걸쳐 캐시 서버를 분산 시켜야 한다.단일 장애 지점(Single Point of Failu..
가상 면접 사례로 배우는 대규모 시스템 설계 기초 1장 - 사용자 수에 따른 규모 확장성 (1)
가상 면접 사례로 배우는 대규모 시스템 설계 기초 1장 - 사용자 수에 따른 규모 확장성 (1)
2024.07.14단일 서버11st에 접속할때 서버에서 어떤일이 일어나는지 생각해보자.www.11st.com를 주소창에 입력브라우저의 DNS 캐시 확인 브라우저 캐시에 IP 주소가 없으면 운영 체제의 DNS 캐시 확인운영 체제의 DNS 캐시에도 IP 주소가 없으면 루트 DNS 서버로의 쿼리 시작루트 DNS 서버는 com 최상위 도메인(TLD) 서버의 주소를 반환DNS 클라이언트는 com TLD 서버에 www.11st.com의 IP 주소를 요청com TLD 서버는 11st.com 도메인의 권한 있는 네임 서버의 주소를 반환DNS 클라이언트는 11st.com 도메인의 권한 있는 네임 서버에 www.11st.com의 IP 주소를 요청합니다.권한 있는 네임 서버는 www.11st.com의 IP 주소를 반환브라우저는 반환된 IP ..
스프링 배치 - 멀티 스레드 처리
스프링 배치 - 멀티 스레드 처리
2024.07.07대량의 데이터를 처리할 때 배치를 이용하게 될 때 단일 스레드 보다 멀티 스레드를 이용하여 처리하는 방법에 대해 알아보겠습니다. 스레드 개념단일 스레드 - 프로세스 내 특정 작업을 처리하는 스레드가 하나일 경우 단일 스레드멀티 스레드 - 여러 개일 경우 멀티 스레드 정의단, 멀티 스레드 처리 방식은 데이터 동기화 이슈가 존재 하기 떄문에 최대한 고려해서 결정해야 합니다. 스프링 배치 멀티 스레드 프로세싱Main Thread 부터 시작하면 스프링 배치에서는 반복작업을 수행하기 위해 RepeatTemplate 을 사용하는데 멀티스레드에서는 RepeatTemplate을 상속받은 TaskExecutorRepeatTemplate 통해서 반복을 시킵니다. TaskExecutorRepeatTemplate 이 ..
zipkin
zipkin
2024.07.01들어가기트위터에서 개발되서 사용하고 있는 분산 추적 도구입니다. 마이크로서비스 환경에서는 하나의 Request 요청에 대해 여러개 서비스들이 호출되곤 합니다. 이때, 데이터를 받아오는 다소 무거운 API가 있으면 Spring 서버의 경우 스레드가 묶여 버리는 일종에 병목 현상의 문제가 발생할 수 있습니다. 이런 경우를 대비하여 모니터링이 필요하게 됩니다. Zipkin을 통해서 이러한 병목 현상을 대비할 수 있는 모니터링 역할을 수행하게 됩니다. Twitter 에 공개되어 있는 Distributed Systems Tracing with Zipkin 본문 링크입니다. 조금 오래된 문서이긴 하지만 zipkin 등장이유와 동작방식에 대해 확인해볼 수 있습니다. Zipkin 이란 무엇인가?Zipkin은 분산환경..
스프링 클라우드 슬루스와 집킨 정리
스프링 클라우드 슬루스와 집킨 정리
2024.06.30스프링 클라우드 슬루스와 상관관계 ID상관관계 ID가 존재하지 않는다면 상관관계 ID를 생성해서 서비스 호출에 삽입한다.아웃바운드 서비스 호출에 대한 상관관계 ID 전파를 관리하여 트랜잭션에 대한 상관관계 ID가 자동으로 추가되도록 한다.서비스 A는 서비스 B에 HTTP 요청을 보낼 때, HTTP 헤더에 X-Correlation-ID: abc123를 포함시켜 보낸다.서비스 B는 요청을 수신하여 X-Correlation-ID 헤더에서 상관관계 ID를 읽어들이고, 이 ID를 사용하여 자신의 작업을 추적한다.@Configurationpublic class FeignConfig { @Bean public RequestInterceptor requestInterceptor() { r..
트랜잭션
트랜잭션
2024.05.26트랜잭션?일련의 작업들을 하나의 단위로 묶어서 처리하는 것을 의미한다. ACID 속성을 지켜야 하는데 의미는 다음과 같다. ACID 속성원자성(Atomicity)트랜잭션의 작업들이 모두 성공적으로 완료되거나, 모두 실패하여 아무런 변화도 일어나지 않도록 보장한다. 중간 상태는 존재하지 않는다.일관성(Consistency)트랜잭션이 실행되기 전과 후의 데이터베이스 상태가 일관성을 유지해야 한다. 즉, 트랜잭션이 성공적으로 완료되면 데이터베이스는 항상 일관된 상태로 유지되어야 한다.격리성(Isolation)동시에 실행되는 트랜잭션들이 서로의 작업에 영향을 미치지 않도록 보장한다. 하나의 트랜잭션이 완료될 때까지 다른 트랜잭션이 그 결과를 볼 수 없다.지속성(Durability)트랜잭션이 성공적으로 완료되면,..
resilience 4j 발표 내용 정리
resilience 4j 발표 내용 정리
2024.04.21resilience 4j 정리 resilience 4j 정의 회복 탄력성 장애 내성 일부 서버가 장애가 발생하면 다른 서버로 장애 전파를 방지한다. Hystrix 는 2018 까지 개발되고 더이상 개발은 안되고 운영 유지만 되고 있다. 이 파트에서는 CircuitBreaker, Retry 에 대한 두 가지 내용을 확인해본다. 아래 사진 보는것처럼 트래픽이 너무 몰렸을 때 잠시 트래픽을 차단해야 한다면 CircuitBreaker 을 걸어야 한다. 서버가 많은 트래픽을 받아서 회복을 목적으로 잠시 트래픽을 차단해야 한다면 -> Fallback 실행 CircuitBreaker 는 일종에 회로 차단기라고 보면 편하다. 상태값으로는 3가지로 정리해볼 수 있다. Close - 이 상태에서는 시스템이 정상적으로 작동..