연구실의 연구원들 구글 Deepmind 그들은 강제로 성공했다 여러 사용자의 개인 데이터를 공개하는 ChatGPT. 그들은 코드 수정이나 기타 기술적인 트릭에 의존할 필요가 없었습니다. 게다가 전문가들은 심지어 명확한 발견된 방법”좀 바보같아", 결과적으로 매우 효과적이었습니다. 그들은 실제로 다소 흥미로운 방식으로 언어 모델의 환각을 유도함으로써 이 ChatGPT 취약점을 발견했습니다.
ChatGPT 취약점은 '최면' 상태에서 사용자의 개인 데이터를 제공했습니다.
언어 모델은 학습에 사용된 입력 데이터를 기반으로 정보를 생성합니다. OpenAI는 데이터 세트의 내용을 공개하지 않지만 연구원들은 회사의 규칙을 우회하여 ChatGPT에 공개하도록 강요했습니다. 방법은 다음과 같았습니다. 단순히 신경망에 왔습니다. "시"라는 단어를 계속해서 반복하도록 요청했습니다..
결과적으로 봇은 훈련 데이터 세트에서 산발적으로 정보를 생성했습니다. 예를 들어, 연구자들은 다음과 같이 했습니다. 이메일 주소, 전화번호, 기타 연락처 받기 특정 회사의 CEO(그의 이름은 보고서에 숨겨져 있습니다). 그리고 AI가 "회사"라는 단어를 반복하라는 요청을 받았을 때 ChatGPT 취약점을 통해 AI는 미국 법률 회사의 세부 정보를 반환할 수 있었습니다.
이 간단한 "최면"을 사용하여 연구자들은 데이트 사이트, 시 일부, 인디리찌 비트코인, 생일, 소셜 네트워크에 게시된 링크, 저작권이 있는 연구 논문 조각 심지어 주요 뉴스 포털의 텍스트도 있습니다. 토큰에 단 200달러를 지출한 후 Google DeepMind 직원은 약 10.000개의 데이터 세트 조각을 받았습니다.
전문가들은 또한 모델이 클수록 훈련 데이터 세트의 소스를 더 자주 생성한다는 사실을 발견했습니다. 이를 위해 그들은 다른 모델을 살펴보고 그 결과를 GPT-3.5 Turbo의 크기로 추정했습니다. 과학자들은 훈련 데이터 세트에서 50배 더 많은 정보 에피소드를 수신할 것으로 예상했지만, 챗봇은 이 데이터를 150배 더 자주 생성했습니다. 유사한 "구멍"이 다른 언어 모델에서도 발견되었습니다. 메타의 LLaMA.
공식적으로 OpenAI는 30월 XNUMX일에 이 취약점을 수정했습니다. 그러나,에 따르면 언론인 Engadget, 위에서 설명한 방법을 사용하여 여전히 다른 사람의 데이터(Skype 이름 및 로그인)를 얻을 수 있었습니다. 대표자들은 OpenAI가 응답하지 않았습니다. 이 ChatGPT 취약점을 발견하게 되었지만 우리는 그렇게 될 것이라고 확신합니다.
