가상 면접 사례로 배우는 대규모 시스템 설계 기초 2장 - 개략적인 규모 추정

개략적인 규모 측정

시스템 용량, 성능 요구사항을 추정하라고 할때 개략적인 규모 측정을 하게 됩니다. 

2의 제곱 수

데이터 볼륨의 단위를 2의 제곱수로 표현할 수 있는 최소 단위 1바이트이고 8비트로 구성됩니다.

• 1킬로바이트 = 2의 10승
• 1메가바이트 = 2의 20승
• 1기가바이트 = 2의 30승
• 1테라바이트 = 2의 40승
• 1페타바이트 = 2의 50승 

모든 프로그래머가 알아야 하는 응답지연 값 

• 디스크 탐색 (seek) = 10ms

데이터 볼륨

• 메모리는 빠르고, 디스크는 느리다.
• 디스크 탐색(seek)은 가능한 피해야 한다.
• 단순한 압축 알고리즘은 빠르다.
• 데이터를 인터넷으로 전송하기 전에 가능한 압축해야한다.
• 데이터 센터는 보통 여러 지역(region)에 분산되어 있고, 센터들 간에 데이터 주고받는 데에 시간이 소요된다.

가용성에 관계된 수치들

고가용성

• 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력, 고가용성은 percent 로 표현합니다. 예를 들어, 100%는 시스템이 단 한 번도 중단된 적이 없음을 말하고 서비스는 99% ~ 100% 사이의 값을 갖게 됩니다. 
• SLA(Service Level Agreement) = 서비스 사업자가 제공하는 서비스의 가용시간이 공식적으로 기술
• 가용률 비교
  • 가용률 99% = 하루당 장애시간 14.40분, 연간 장애시간 3.65일 
  • 가용률 99.9999% = 하루당 장애시간 86.40밀리초, 연간 장애시간 31.56초

예제: 트위터 QPS와 저장소 요구량 추정

가정

• 월간 사용자가 3억명이다.
• 50%의 사용자가 트위터를 매일 사용한다.
• 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.
• 미디어를 포함하는 트윗은 10%정도다.
• 데이터는 5년간 보관된다.

추정

• QPS (Query Per Second) 추정치
  • Daily Active User, DAU = 3억 * 50% = 1.5억명 (50%의 사용자가 트위터를 매일 사용하므로, 월간 사용자의 50%는 매일 트위터를 사용하는 사용자의 수와 같습니다.)
  • QPS = 1.5억 * 2트윗/24시간/3600초 = 약 3500
  • 최대 QPS (Peek QPS) = 2*QPS = 약 7000
• 미디어 저장을 위한 저장소 요구량
  • 평균 트윗 크기
  • tweet_id = 64바이트
  • 텍스트 = 140바이트
  • 미디어 = 1MB
  • 미디어 저장소 요구량 = 1.5억 * 2 * 10% * 1MB = 30TB/일 
  • 5년간 미디어를 보관하기 위한 저장소 요구량 : 30TB * 365 * 5 = 약 55PB

팁

• 올바른 절차를 밟아서 결과를 내는것을 중요시 여긴다. 
• 복잡한 계산을 할때는 근사치 값으로 계산 결과를 추려냅니다. 
• 가정들을 적어두어라. 예를 들면 트위터 QPS와 저장소 요구량 추정에서 가정같은 것을 의미합니다.
• 단위를 붙여라.
• QPS, 최대 QPS, 저장소 요구량, 캐시 요구량, 서버 수를 추정해야한다.