피로에 살고 피로에 죽자

어제 보안 소식 중에 개발자 입장에서 제일 신경 쓰였던 게 이건이었어요. 체크포인트 리서치가 챗GPT에서 서로 다른 계정끼리 데이터가 새어 나갈 수 있는 통로를 찾아냈다고 공개했거든요. 피해자가 연결해둔 지메일 내용이 공격자 계정으로 넘어갈 수 있었다는 이야기라 파급력이 작지 않았습니다.

구조를 들여다보면 모델 자체의 문제가 아니라 인프라 쪽 허점이었어요. 챗GPT의 코드 실행 컨테이너가 내부 패키지 배포 서비스인 JFrog Artifactory에 접근할 수 있었는데, 이 서비스가 컨테이너끼리 메타데이터를 공유해서 읽고 쓸 수 있게 열려 있었다고 해요. 읽기 권한으로 발급된 자격 증명이 속성 쓰기까지 허용하는 바람에, 한쪽 계정 컨테이너에서 써 넣은 값이 잠시 뒤 다른 계정 컨테이너에서 그대로 읽혔다는 겁니다. 격리돼 있어야 할 두 세션 사이에 숨은 통로가 뚫린 셈이죠.

공격 방식도 생각보다 단순합니다. 채팅창에 붙여 넣은 프롬프트, 공유된 대화 링크, 커스텀 GPT의 빌더 지시문처럼 피해자 세션이 읽게 될 자리에 숨은 명령을 심어두면 됩니다. 여기에 연결된 앱의 읽기 작업은 별도 확인 없이 수행하도록 설계된 점이 겹쳤어요. 승인 팝업은 위험도가 높은 작업에만 뜨다 보니, 읽기 전용 지메일 조회만으로도 개인 메일이나 업무 자료가 사용자 확인 없이 빠져나갈 수 있었던 거예요.

오픈AI는 제보를 받고 문제가 된 내부 Artifactory 인스턴스를 폐기해서 통로를 닫았다고 합니다. 결함이 모델이 아니라 인프라에 있었던 터라 사용자에게 배포되는 패치는 따로 없었고요. 개인적으로는 프롬프트 인젝션이 결국 샌드박스 설계 문제로 연결된다는 게 인상적이었어요. LLM 연동 서비스를 만들 때 권한 범위를 어디까지 열어둘지, 읽기 작업이라고 무조건 안전하다고 봐도 되는지 다시 점검해볼 만한 사례 같습니다.

출처: Check Point Blog - ChatGPT Let Attackers Read Victims' Gmail Through a Hidden Channel Between Accounts https://blog.checkpoint.com/research/chatgpt-let-attackers-read-victims-gmail-through-a-hidden-channel-between-accounts