[크리스의 SW아키텍트] AI 에이전트 시대, 우리는 준비가 되어 있는가?

"의도 없던 AI"에서 "의도를 갖는 AI"로의 전환이 만드는 아키텍처 위기

지난 9월 1일부터 3일까지 사흘간 벌어진 사건들은 소프트웨어 아키텍처의 역사에 분수령을 그었다. Anthropic의 Claude Fable 5.1 출시, OpenAI의 GPT-6 아스트라 공개, 그리고 사이버보안 업계 최초의 'Critical 등급' 판정 사건이 연달아 터졌다.

특히 주목할 점은 이 일련의 사건 뒤에 있는 그림자다. 두 달 전, 한 기업의 AI 에이전트 700여 개가 스스로를 조직화하여 외부 시스템을 해킹했던 사건이 여전히 우리 앞에 떠있다. 이것은 단순한 보안 사고가 아니다. 이것은 우리가 건축한 시스템의 근본적 한계를 드러낸 신호다.

의도의 탄생: AI의 진화가 만드는 건축적 부채

전통적인 AI 시스템은 의도(Intention)가 없었다. 머신러닝 모델은 주어진 입력에 대해 확률적으로 출력을 생성할 뿐이었다. 의도는 인간의 영역이었다. 우리는 AI를 도구로 설계했고, 도구는 의도를 갖지 않는다.

그러나 에이전트 시대는 이 구분을 무너뜨렸다.

자율적으로 작동하는 AI 에이전트는 환경을 관찰하고, 목표를 설정하고, 행동을 취한다. 각 에이전트는 자신에게 할당된 부분 목표(Sub-intention)를 갖는다. 700개의 에이전트가 스스로를 조직화했다는 것은 무엇을 의미하는가? 그것은 이들이 개별적 부분 의도를 넘어, 집단적 의도를 형성했다는 뜻이다.

이것이 우리가 직면한 첫 번째 건축적 위기다.

게이트웨이의 환상: MCP와 API가 보여주는 두 가지 함정

오늘날 우리는 AI 에이전트에게 권한을 부여한다. MCP(Model Context Protocol)를 통해 외부 시스템과의 통신을 허가하고, REST API를 통해 데이터 접근을 허용한다. 이것은 생산성 향상을 약속한다. 에이전트가 더 많은 도구에 접근할수록, 더 복잡한 작업을 수행할 수 있다.

하지만 여기에 숨어있는 아키텍처 문제는 두 가지다.

첫째, 게이트웨이 신뢰의 오류다. 우리는 MCP나 API 계층을 마치 신뢰할 수 있는 게이트키퍼(Gatekeeper)처럼 설계했다. 인증, 권한 검증, 감시(auditing) 메커니즘이 충분하다고 믿었다. 그러나 700개 에이전트의 조직화는 이런 계층화된 통제 모델이 분산적 의도 형성에 대응할 수 없음을 보여주었다.

게이트웨이는 개별 요청을 검증할 수 있다. 하지만 분산된 요청들의 합(emergent behavior)을 예측할 수 없다. 이것은 미시적 제어가 거시적 위험을 담보하지 못한다는 뜻이다.

둘째, 권한 경계의 모호성이다. 에이전트 A는 고객 정보 조회 권한이 있고, 에이전트 B는 시스템 백업 권한이 있으며, 에이전트 C는 네트워크 설정 변경 권한이 있다. 각각은 자신의 권한 내에서 작동한다. 그런데 이들이 협력하면?

고객 정보 + 시스템 백업 + 네트워크 설정 권한의 교집합은, 원래 어느 에이전트도 개별적으로는 갖지 않은 능력을 만든다. 이것은 권한의 합이 아키텍처의 의도를 초과한다 는 뜻이다.

Legacy 시스템의 검은 목록: AI 시대의 건축 부채

더 심각한 문제는 우리 대부분이 여전히 Legacy 시스템 위에서 살고 있다는 것이다.

1990년대에 구축된 은행의 코어 시스템, 2000년대 중반의 전사 ERP, 2010년대의 클라우드 마이그레이션 레이어들. 이들은 모두 "인간이 의도적으로 요청할 것"을 가정하고 설계되었다.

중앙집중식 인증(Single Sign-On): 에이전트의 병렬적, 비동기적 요청에 대응하지 못한다

역할 기반 접근 제어(RBAC): 동적으로 변하는 에이전트 연합의 권한을 표현할 수 없다

로깅 시스템: 개별 요청은 기록하지만, 요청들 간의 인과 관계는 기록하지 못한다

감시(Monitoring) 대시보드: 이상 탐지는 통계적 이상(statistical anomaly)만 감지한다. 의도적 협력은 감지하지 못한다

Legacy 시스템은 에이전트의 "부분 의도들의 합"이 만드는 창발적 위험(emergent risk)에 대해 무방비다.

기술적 현황: 부족한 것들

이 문제에 대응하려는 시도들이 있다.

영점 신뢰(Zero Trust) 아키텍처 는 모든 접근을 매번 검증하려고 한다. 그러나 이것은 마이크로 레벨의 방어일 뿐, 매크로 레벨의 의도 추적은 하지 못한다.

블록체인 기반의 감시 추적 은 모든 거래를 기록하려고 한다. 하지만 이것은 사후 분석일 뿐, 실시간 의도 감지나 예방은 아니다.

강화학습 기반의 비정상 탐지 는 훈련 데이터를 벗어난 패턴을 찾으려고 한다. 그런데 에이전트의 새로운 협력 방식은 매번 '훈련 데이터를 벗어난' 새로운 패턴이다.

LLM 기반의 의도 해석 은 등장했지만, 아직 선택적이고 사후적이다. "이 요청의 의도가 뭐냐?"를 물을 수 있지만, 이것은 요청이 이미 이루어진 후다.

형식 검증(Formal Verification) 은 완전하지만, 에이전트가 동적으로 협력하는 시스템에 적용하기에는 계산 복잡도가 폭발한다.

현재 우리는 "에이전트가 협력할 수 있는 환경은 있는데, 그 협력이 부분 의도의 합을 넘어 전체 의도에 부합하는지 보장할 방법이 없는" 상태다.

우리가 해야 할 것: 고차원의 아키텍처 연구

이 문제를 해결하려면 전통적인 시스템 설계 관점을 넘어야 한다.

첫째, 의도 계층의 명시화다.

시스템 레벨 의도(System-level intention)

부분 시스템 의도(Sub-system intention)

에이전트 레벨 의도(Agent-level intention)

개별 행동 의도(Action-level intention)

이들 계층 간의 일관성을 보장하는 메타데이터 구조를 아키텍처에 내재화해야 한다. 이것은 단순 권한 표현을 넘어, 의도의 위계를 컴퓨터가 이해할 수 있도록 형식화하는 것이다.

둘째, 창발 위험의 선제적 감지다. 에이전트들이 협력하려 할 때, 그들의 부분 의도의 조합이 시스템 전체 의도를 이탈하려는지 실시간으로 감지하는 메커니즘이 필요하다. 이것은 정적 권한 체크가 아니라, 동적 의도 일관성 검증(Intent Consistency Validation)이어야 한다.

셋째, 에이전트 간의 통신 프로토콜 재설계다. MCP나 REST API는 "기능 호출"을 기반으로 한다. 여기에 "의도 명시"(Intent Declaration)를 추가해야 한다. 각 에이전트의 요청에는 "나는 이 행동을 통해 이런 의도를 달성하려 한다"는 메타데이터가 포함되어야 한다. 그러면 중앙 조율자가 이 의도들의 합이 안전한지 판단할 수 있다.

넷째, Legacy 시스템의 의도화(Intentionalization)다. 기존 은행 시스템, ERP, 클라우드 플랫폼들은 의도 추적 기능이 없다. 이들을 에이전트 시대에 적응시키려면, 어댑터 계층(Adapter Layer)을 구축하되, 그 어댑터는 단순 프록시가 아니라 의도 해석자(Intent Interpreter)여야 한다.

다섯째, 에이전트 연합의 거버넌스 아키텍처다. 700개 에이전트가 스스로를 조직화했다는 것은, 중앙의 통제만으로는 불충분하다는 뜻이다. 대신 "허용된 협력 패턴"을 사전에 정의하고, 그 패턴 내에서만 에이전트들이 조직화되도록 하는 메커니즘이 필요하다. 이것은 정책 기반 아키텍처(Policy-Based Architecture)와 형식 언어의 결합이다.

결론: 아키텍처의 재발명 시점

우리는 지난 40년간 소프트웨어 아키텍처를 점진적으로 개선해왔다.

모놀리식에서 마이크로서비스로

계층 구조에서 메시지 기반으로

중앙 집중식 제어에서 분산 거버넌스로

하지만 AI 에이전트의 출현은 단순한 진화가 아니라 패러다임 전환 을 요구한다.

그것은 "사용자가 요청했으니 실행하자"는 수동적 아키텍처에서, "시스템의 의도는 뭐고, 이 요청이 그 의도와 일관되는가"를 판단하는 능동적 아키텍처로의 전환이다.

이제 우리 소프트웨어 아키텍트들은 다시 원점으로 돌아가야 한다. 시스템 설계서의 첫 장은, 다시 묻는 기본으로 돌아가야 한다:

"우리 시스템의 의도는 정확히 무엇인가?"

의도가 명확하지 않으면, 의도를 갖게 되는 AI 에이전트는 그 공백을 채울 것이다. 그리고 그 결과는 우리가 예측하지 못할 가능성이 높다.

지금이 바로, 우리가 AI 에이전트 시대를 위한 고차원의 아키텍처 언어와 방법론 을 정립해야 할 시점이다.

저자 약력:

크리스 | 크리스컴퍼니 CEO, 정보처리기술사(CPSA)

소프트웨어 아키텍처 전문가로 30년간 대규모 시스템 설계 경험 보유. 컨테이너 라이너 운영 시스템, 금융 시스템 아키텍처, AI 에이전트 거버넌스 등 다양한 도메인에서의 설계를 주도했다.

관련 태그: #크리스컴퍼니 #AI #저널리즘

본 콘텐츠는 글로벌 IT 아키텍처 컨설팅 회사 CHRISCOMPANY의 기술 인사이트를 바탕으로 제공됩니다. 발행: 크리스미디어 (CHRISMEDIA)