2025년, 대만의 한 중견 전자상거래 회사의 마케팅 팀은 5명으로 구성되어 있었고, 이들은 돌아가면서 3개의 소셜 미디어 계정을 관리했습니다. 비밀번호는 모든 팀원이 접근할 수 있는 공유 구글 시트에 저장되어 있었습니다. 인공지능(AI) 에이전트를 도입하여 게시물 자동 작성을 시작하기 전까지는 아무도 이 방식에 문제가 없다고 생각했습니다.

내 첫 생각은 "그냥 계정 키를 상담원에게 주면 되겠지"였다.

이러한 직감은 AI를 도입하기 시작하는 거의 모든 회사에 존재하지만, 거의 항상 틀린 생각입니다.

상담원 교육을 시작하기 전에 질문을 하나 하세요.

대부분의 사람들은 AI 에이전트에 대해 이야기할 때 그 기능에 초점을 맞춥니다. 검색이 가능한가? 보고서를 작성할 수 있는가? 어떤 도구와 연결할 수 있는가? 이러한 질문들은 모두 타당하지만, 부차적인 문제입니다.

첫 번째 질문은 다음과 같습니다.이 에이전트는 무엇을 할 수 있고 무엇을 할 수 없습니까? 만약 에이전트가 해서는 안 될 일을 했다면, 그 책임은 누구에게 있습니까?

이건 기술적인 문제가 아니라 거버넌스 문제입니다. 그런데 기업들이 에이전트를 설계할 때, 관심의 90%는 기술적인 측면에만 집중되고, 거버넌스 측면은 거의 고려하지 않습니다.

권한 범위가 제한되지 않은 에이전트는 강력해질수록 더욱 위험해집니다. 모든 것을 할 수 있는 비서와 언제든 통제 불능 상태로 치달을 수 있는 취약점 사이에는 시스템 아키텍처 측면에서 근본적인 차이가 없습니다.

이것이 SPEAK 프레임워크를 만드는 출발점입니다.

• 【S】 기술 기술
• 【피】성격 특성
• 【이자형】프로젝트 경력: 경험
• [A]권위 승인
• 【케이】지식 습득 지식

다섯 가지 차원 중 S, P, E, K는 모두 에이전트를 설명합니다. 是什麼,당신은 무엇을 알고 있나요?,무엇을 할 수 있을까요?오직 한 [권위자]만이 완전히 다른 질문에 답합니다.원하는 만큼 멀리 갈 수 있도록 허용됩니다.

"요원에게 권한을 부여할 때마다 마치 문을 여는 것과 같습니다. 중요한 것은 얼마나 많은 문이 열려 있느냐가 아니라, 절대로 열어서는 안 될 문이 무엇인지 알고 있느냐입니다."

비밀번호의 물리적 격리: 프로세스 프록시의 논리

앞서 언급한 전자상거래 회사의 이야기로 돌아가 봅시다. 결국 그들은 상담원에게 소셜 미디어 계정 비밀번호를 넘겨주지 않았습니다.

그들은 더 현명한 방법을 택했습니다. 요원에게는 권한만 부여한 것입니다.릴리스 프로세스를 시작합니다에이전트는 메시지 게시 작업을 직접 수행하는 대신, 메시지를 게시하기로 결정하면 내용과 시간을 전달합니다. 메이크닷컴 한 가지 시나리오는 Make가 실제 사용자 이름과 비밀번호를 사용하여 백그라운드에서 로그인 및 게시 작업을 완료하는 것입니다.

전체 프로세스에 대한 권한 부여 체계는 다음과 같습니다.

에이전트(무엇을 게시해야 할지 아는 것) → Make 시나리오 실행(보내는 방법을 아세요) → Make는 계정 비밀번호를 가지고 있습니다.(게시 허가를 받았습니다)

상담원은 비밀번호를 절대 접할 수 없습니다. 상담원은 비밀번호가 무엇인지 모르고, 알 필요도 없습니다.

이 설계의 핵심은 수십 년 동안 기업 보안 아키텍처에 존재해 온 원칙입니다.최소 권한의 원칙각 역할에는 작업을 완료하는 데 필요한 최소한의 권한만 부여되며, 그 이상의 권한은 주어지지 않습니다.

은행 시스템, 병원 정보 시스템, 정부 데이터베이스는 모두 이런 방식으로 설계되었습니다. 하지만 인공지능 에이전트 분야에서는 모두가 에이전트를 "더 강력하게" 만드는 데만 급급해서 이 원칙이 거의 잊혀졌습니다.

인공지능의 핵심 명제는 인간을 대체하는 것이 아니라 협력하는 데 있다는 것입니다. 하지만 협력에는 전제 조건이 있습니다. 각 참여자는 자신의 책임 범위를 명확히 이해해야 합니다. 에이전트에게 무제한적인 권한을 부여하는 것은 신뢰가 아니라 직무유기입니다.

이중 키: 스킬 자체에도 권한이 필요한 경우

프로세스 격리는 "운영 계층"에서의 보안 문제를 해결하지만, 또 다른 문제가 남아 있습니다.해당 기술에 대한 인증은 어떻게 이루어져야 할까요?

Smart4A의 상담원 교육 센터 플랫폼에서 (speak.smart4a.tw이 시스템에서는 모든 스킬이 암호화됩니다. 호스트 컴퓨터는 AES 암호화를 사용하여 스킬 콘텐츠를 저장하며, 사용자 컴퓨터는 해당 스킬을 잠금 해제하고 사용하기 위해 자체 컴퓨터에 해당 복호화 키를 보유해야 합니다.

이러한 방식은 우아한 보안 구조를 만들어냅니다. 스킬은 "다운로드"되는 것이 아니라 "잠금 해제"되는 것입니다. 플랫폼은 사용자가 해당 스킬을 사용할 자격이 있음을 알고 있으며, 사용자의 네이티브 키는 신원을 확인합니다. 이 두 가지 모두 필수적입니다.

사업주들에게 있어 이러한 디자인의 이점은 기술적인 측면이 아니라 심리적인 측면입니다.AES가 무엇인지 이해할 필요는 없습니다. 키만 안전하게 보관하면 됩니다. 플랫폼이 복잡한 보안 로직을 처리하므로 사용자는 최종 키만 제공하면 됩니다.

이것은 금고의 설계 철학을 떠올리게 합니다. 최고의 금고는 사용자가 잠금 메커니즘을 이해할 필요 없이, 단 하나의 비밀번호만 기억하면 되고 나머지는 모두 기계적 구조로 보호됩니다. SPEAK의 인증 계층도 마찬가지입니다.

현금 흐름의 한계: 거절이 아니라, 또 다른 장벽을 추가하는 것.

그렇다면 에이전트가 프로세스를 시작할 수는 있지만 독립적으로 완료할 수는 없는 시나리오가 있을까요?

답은 '예'입니다.현금 흐름이 가장 대표적인 예입니다.

담당자는 대조 작업을 시작하고, 지급을 요청하고, 송금 절차까지 진행할 수 있으며, 데이터를 정리하고 숫자를 입력할 수도 있습니다. 하지만 프로세스의 중요한 단계에서 계속 진행하기 전에 확인이 필요합니다. 이것이 바로... 인간 참여형 프로세스(HITL) 설계 논리.

HITL 설계 원칙

에이전트가 프로세스를 시작하지만, 실행 전에 사람의 검토와 승인을 기다리며 프로세스가 일시 중지됩니다. 사람의 확인 없이는 자금이 이동하지 않습니다. 에이전트의 역할은 준비 및 알림이며, 의사 결정 권한은 여전히 ​​사람에게 있습니다. 이는 기술적 한계가 아니라 의도적인 관리 설계입니다.

HITL은 AI를 불신하는 것이 아니라, 일부 결정에는 돌이킬 수 없는 결과가 따른다는 점을 인정하는 것입니다. 일단 실수가 발생하면 되돌릴 수 없습니다. 자금 횡령, 잘못된 지급 등 어떤 단계에서든 오류가 발생하면 회복할 수 없는 손실로 이어질 수 있습니다. 이러한 상황에서는 사람들에게 상황을 지속적으로 알리는 것이 권한 부여 설계에 있어 가장 책임감 있는 선택입니다.

성숙한 형태의 권한은 단순히 "주거나 주지 않거나" 하는 이분법적인 것이 아니라, 에이전트가 취할 수 있는 단계, 사람의 확인이 필요한 단계, 그리고 특정 역할의 사용자만 승인할 수 있는 단계 등을 규정하는 계층적 권한 부여 체계입니다. 이것이 바로 기업 수준의 AI 거버넌스가 진정으로 추구하는 모습입니다.

훌륭한 헌법은 누가 어떤 권한을 갖는지 명시할 뿐만 아니라, 그 권한이 행사되기 전에 견제와 균형을 거쳐야 한다는 점도 명시합니다. 대리인 권한 구조도 마찬가지여야 합니다.

SPEAK의 진정한 순서

기업용 AI 에이전트를 구축할 계획이라면 SPEAK는 다소 역설적인 제안을 하나 드립니다.S로 시작하지 말고 A로 시작하세요.

먼저 다음과 같은 질문을 던져보세요. 이 상담원이 접근할 수 있는 시스템은 무엇인가요? 어떤 계정의 비밀번호는 절대 상담원에게 노출되어서는 안 되나요? 어떤 작업은 수동 확인이 필수적인가요? 어떤 상황에서도 절대 넘어서는 안 될 금지선이 있나요?

이러한 질문에 명확하게 답변해야만 담당자가 기술을 배우고, 인성을 함양하고, 경험을 쌓고, 지식을 습득할 자격을 갖출 수 있습니다.

그렇지 않으면, 당신이 훈련시킨 것은 조수가 아니라 언제든 통제 불능 상태로 치달을 수 있는 취약점일 뿐입니다. 단지 아주 공손하게 말하기 때문에 당신이 아직 문제를 발견하지 못했을 뿐이죠.

인공지능의 핵심은 인간의 일자리를 인공지능으로 대체하는 것이 아니라, 인간과 인공지능이 각각 어떤 역할을 담당해야 하는지를 재정의하는 데 있습니다. 디자인 라이선스는 이러한 경계를 가장 구체적으로 보여주는 사례입니다.

이 전자상거래 회사의 마케팅 팀은 결국 깔끔한 에이전트 아키텍처를 구축했습니다. 에이전트는 콘텐츠 생성 및 일정 결정을 담당하고, 제작팀은 실행 및 계정 관리를 담당하며, 인사팀은 최종 출시 결정 및 결제 운영을 담당했습니다. 이러한 3단계 분담을 통해 각 팀은 특정 책임을 완수할 수 있었습니다.

그들은 AI를 도입한 후 가장 큰 성과가 "얼마나 많은 시간을 절약해줬는지"가 아니라 다음과 같은 점이었다고 말했습니다."처음으로 우리 시스템이 제대로 설계되었다는 느낌을 받았습니다."

이것이 진실입니다. 말하다 이 프레임워크가 모든 기업에 제공하고자 하는 것은 무엇일까요?