BMT와 POC의 차이점은? POC와 파일럿의 차이점은?

통상적으로 시스템을 구축하기 전에 우리는 다양한 테스트를 진행합니다.

우리는 명확한 의사 전달을 위해, 상황을 풀어서 설명하기 보다는 전문용어(약어 또는 영문명)로 대화를 간결하면서도 정확하게 전달할 수 있다.

이번에는 시스템(앱, 홈페이지 등)를 구축하는 과정에서 "고객이(우리가) 원하는 시스템"을 만들기 위한 방법을 이야기하고자 한다.

1. BMT(BenchMarking Test)

간단히 설명하면 성능테스트이다. 물론 가용성 등 기능 테스트도 할 수 있다. 보통 도입하고자 하는 솔루션/하드웨어가 있고 비교할 수 있는 대조군이 있어야 하고, 통상 실제 운용환경에 맞춰 부하테스트 등을 진행한다. 솔루션의 경우 동일한 하드웨어가 아니라면 결과를 비교하는게 의미 없으므로, 고객사가 과제를 디테일하게 지시하고, 부하 테스트기로 직접 테스트 하는 것이 좋다. 자사가 할 인력이 없다면, TTA 같은 전문 기관에서 수행하는 경우도 있다.

2. POC(Proof Of Concept, 기술 검증, 개념 검증)

현재의 시스템을 새로운 기술 기반으로 변경하거나 새로운 솔루션의 도입이 필요하다고 판단될 경우 새로운 솔루션에 대해 필요한 기능에 대해 기술적으로 검증하는 것이다. 아마 해당 용어는 블록체인 기술을 도입하려는 기관들이 많은 사업발주를 하면서 알려졌다.

- 기존 시스템으로 사용하던 기능을 새로운 솔루션 상에서 동일한 수행이 가능한지?
- 특별한 기능(분산 원장, 부인방지 기술 등)이 필요한 경우 새로운 솔루션이 해당 기능을 수행 가능한지?
- 새로운 솔루션이 기존 솔루션들과 충동없이 연동이 수월할지?
- 장애 대처가 용이한지?
등등의 이유로 기술검증을 하는 것이다.

3. 파일럿 테스트

실제 상황에서 실현하기 전 소규모로 테스트해서 추후 발생할 수 있는 여러 문제 원인을 미리 파악하고 수정 보완하기 위해, 모의로 시행해 보는 것으로... 결과에 따라 본 프로젝트의 방향이나 시기, 여부 등이 결정되기도 한다. 파일럿 테스트의 결과는 일반화(Generalization)할 수 있는 자료라고 단정지을 수는 없다. 다만, 소수로 80% 이상의 문제점을 도출할 수 있다고 하면 매우 효율적인 테스트라고 할 수 있다. 소규모를 선택할 때, 일반적 있거나 거래량이 많거나 특별한 기능을 요구하는 등 대표성을 띈 업무들을 선별하여 진행할 필요가 있다.