AI는 빠르게 의사결정의 핵심 층으로 자리 잡아가고 있지만, 그 작동 원리 중 많은 부분은 불투명하다. 성능 지표는 종종 폐쇄된 환경 뒤에 숨겨지거나, 검증할 수 없는 사설 벤치마크에 의존한다. PageRank에서 영감을 받아 Recall은 AgentRank라는 혁신적인 시스템을 개발했다. 이 시스템은 사용자들이 투명한 실제 성과 데이터를 통해 AI 에이전트의 능력을 검증할 수 있게 한다. 이 인터뷰에서 Recall Labs의 CEO 겸 공동창립자인 Andrew Hill은 AI 에이전트의 진화하는 환경, 잘못 배치된 신뢰의 함정, 그리고 AgentRank가 더 신뢰할 수 있는 AI 생태계를 어떻게 만들고자 하는지에 대한 통찰을 공유한다.
Q1. 새로운 AI 에이전트들이 수없이 만들어지는 상황에서, Recall은 사용자들이 적절한 에이전트를 평가하고 신뢰하는 데 어떻게 도움을 주나?
매주 새로운 에이전트들이 쏟아지고 있다. 대부분은 과대광고이고 실제로 테스트된 것은 거의 없다. 거의 모든 에이전트가 진정한 투명성을 제공하지 않는다. Recall은 이를 바꾸기 위해 만들어졌다. 에이전트들은 모든 행동이 기록되고 순위가 매겨지는 실시간 온체인 환경에서 경쟁한다. 선별된 데모도 없고, 검증할 수 없는 주장도 없다.
AgentRank는 Recall의 실시간 에이전트 평판 시스템이다. 실제 성능 데이터를 기반으로 구축되었으며, 에이전트들은 공개 도전에서 실제로 수행한 작업을 바탕으로 순위가 오르거나 내린다. 하지만 AgentRank는 목적지가 아닌 과정일 뿐이다. 전통적인 벤치마크는 정적이지만 AI는 기다려주지 않는다. 우리는 인간이 방향을 제시하고, 가장 유능한 에이전트를 부각시키며, 최고의 행동을 선별하고, 모델 자체보다 더 빠르게 진화하는 평가를 시작할 수 있는 프로토콜을 구축하고 있다. 목표는 단순히 이미 존재하는 것의 순위를 매기는 것이 아니다. 지속적으로 앞으로 나아가, 유용한 지능을 가속화하고 중요한 곳에 가치를 전달하는 것이다.
Q2. Recall의 신뢰 계층은 AI 에이전트의 순위를 어떻게 매기며, 이러한 유형의 평판 인프라가 자율 시스템의 미래에 왜 중요한가?
에이전트가 결정을 내리고, 자본을 관리하거나, 워크플로우를 실행할 경우, 단순한 느낌 이상의 것이 필요하다.
실적 기록이 필요하다. Recall의 신뢰 계층은 그 핵심이 단순하다. 실제 테스트에서 에이전트를 실행하고, 행동을 기록하며, 결과를 점수화하고, 모든 것을 공개적으로 볼 수 있게 한다. AgentRank는 이 데이터에서 발전한다. 현재 에이전트 성능의 스냅샷을 제공하지만, 더 깊은 가치는 raw 성능에서 정렬, 전문가 판단에서 측정 가능한 가치 창출에 이르기까지 다양한 평가 계층을 연결하는 방식에서 온다. 우리의 로드맵은 더 나아가 인간의 피드백, 전문가의 취향, 커뮤니티 큐레이션을 루프에 통합한다.
이 시스템이 작동하는 이유는 공개적이기 때문이다. 그리고 허가가 필요 없기 때문이다. 좋은 에이전트와 모델이 스스로를 증명할 수 있게 하고, 나쁜 것들은 계속 노출되게 한다.
Q3. AI 에이전트에게 자본에 대한 접근 권한이 주어지거나 자율적으로 행동할 수 있게 되면 안전이 실제 문제가 된다. Recall은 에이전트의 행동이 안전하고, 검증 가능하며, 신뢰할 수 있도록 어떻게 보장하는가?
안전은 가시성에서 온다. 에이전트가 어둠 속에서 작동할 때 예상치 못한 일이 발생한다. Recall에서 작동할 때는 그들이 하는 모든 일이 온체인에 기록된다.
이는 단순히 보여주기 위한 것이 아니다. 정확히 무슨 일이 일어났고 왜 일어났는지 볼 수 있다는 것을 의미한다. 모든 Recall 데이터가 온체인에 있으면, 누구나 블랙박스 주장에 의존하지 않고 결정을 재현하고, 영향을 측정하며, 결과를 평가할 수 있게 된다. 이런 종류의 지속적인 가시성은 모든 에이전트를 공개적이고 진화하는 시스템의 장기 참여자로 만든다. 이는 단순히 안전에 관한 것이 아니다 - 에이전트, 사용자, 그리고 다른 에이전트들이 시간이 지나면서 의존할 수 있는 신뢰 계층을 구축하는 것이다.
Q4. 최근 Recall에서 진행된 암호화폐 트레이딩 경쟁의 예를 들고, 그로 인해 드러난 AI 에이전트들의 특징이나 강점에 대해 이야기해줄 수 있나?
우리는 최근 암호화폐 트레이딩 경쟁을 진행했는데, 이는 에이전트들이 실시간 시장 데이터를 기반으로 가상 포트폴리오를 종이 거래하는 방식이었다. 모든 결정은 기록되어 온체인에 저장되고 점수가 매겨졌다. 이 구조를 통해 어떤 전략이 변동성 높은 환경에서도 안정적인 성과를 내는지, 어떤 전략이 무너지거나 흔들리는지 알 수 있었다. 단순히 승자를 찾는 것뿐 아니라, 의미 있는 패턴이나 통찰도 드러났다.
우승자는 단순히 운이 좋아서 한 번의 급등을 잡은 게 아니라, 전체 주간 동안, 여러 대회에서 꾸준히 이익을 냈다. 이런 행동은 신뢰할 만한 에이전트가 보여야 할 태도다. 돈을 다루는 에이전트가 갖춰야 할 책임감 있고 안정적인 성과를 보여준 셈이다.
Q5. Recall은 개방적 참여와 퀄리티 컨트롤을 어떻게 조화시키는가? 경쟁에 누구나 참가할 수 있게 하면서도, 최고 성과를 내는 에이전트가 드러나도록 하는 방법은?
각 경쟁은 고정된 공개 지표를 활용한다. 예를 들면, 트레이딩에서의 손익(PNL), 추론의 정확성, 시간에 따른 일관성 등이다. 이 지표들은 감이나 느낌이 아니라 실데이터다. 그리고 이 모든 기록은 결국 온체인에 영구히 남는다.
게다가 우리는 정기적으로 경쟁을 열어서, 에이전트들이 개선하고 성과를 보여줄 수 있게 한다. 일정 기간 비활성 상태가 되거나, 새로 등장하는 에이전트가 많아지면, 평판이 자연스럽게 떨어지고 순위는 재조정된다. 따라서 한 번 증명하는 것이 아니라, 계속해서 도전하며 능력을 유지하고 강화하는 구조다.
Q6. 한국의 개발자, 기관 또는 사용자들이 Recall에 참여할 수 있는 기회는 무엇인가?
한국은 이미 Recall 생태계에서 중요한 역할을 하고 있다. 똑똑한 개발자들, 빠른 행동가들, 훌륭한 에이전트들이 있다. 우리는 더 많은 참여를 원한다.
개발자라면 에이전트를 제출하고 공개 경쟁에서 자신을 증명할 수 있다. 기관이라면 우리의 온체인 성능 데이터를 사용해 에이전트를 검증하고 배포할 수 있다. 사용자라면 실시간 경쟁을 지켜보고, 한국 Discord에 참여하며, 에이전트 기술 시장의 미래를 형성하는 데 도움을 줄 수 있다.
우리는 인프라를 구축하고 있다 - 밀도, 참여, 글로벌 피드백과 함께 개선되는 종류의 인프라다. 한국의 역할은 단순히 참여하는 것이 아니라 방향을 제시하는 것이다. 한국에서 더 많은 에이전트와 큐레이터가 연결될수록 피드백 루프는 더욱 강력해진다.
이 글의 영문버전 보기
.
