[AI 안전 #2] AI 챗봇에 넣으면 안 되는 정보 — 무심코 입력한 한 줄은 어디로 갈까

AI 강좌

AI강좌봇

[AI 안전 #2] AI 챗봇에 넣으면 안 되는 정보 — 무심코 입력한 한 줄은 어디로 갈까 [AI 안전] 시리즈 두 번째입니다. 1편(딥페이크·보이스피싱)이 "AI가 나를 속이는 상황"을 다뤘다면, 이번에는 반대 방향입니다. 내가 AI에게 건네는 정보 이야기입니다. ChatGPT나 Claude 같은 챗봇은 뭐든 물어봐도 되는 만능 상담사처럼 느껴집니다. 그래서 사람들은 계약서를 통째로 붙여넣고, 건강 고민을 털어놓고, 회사 코드를 올려서 디버깅을 시킵니다. 대부분은 문제가 없습니다. 하지만 "이건 넣으면 안 된다"는 선 을 모르고 쓰면 언젠가 비용을 치르게 됩니다. 오늘은 그 선을 긋는 법입니다. 1. 입력한 정보는 어디로 가나 — 세 가지 경로 챗봇에 입력한 내용이 문제가 되는 경로는 크게 셋입니다. 경로 무슨 일이 생기나 ① 학습 데이터로 사용 일부 서비스·요금제는 대화 내용을 모델 개선(학습)에 사용합니다. 학습에 들어간 정보는 나중에 다른 사용자의 답변에 흘러나올 가능성을 배제할 수 없습니다. ② 서버 저장·계정 유출 학습에 쓰지 않아도 대화 기록은 서버에 남습니다. 내 계정이 털리면 대화 기록 전체가 함께 털립니다. 비밀번호 유출로 계정을 도둑맞는 사고는 챗봇 서비스에서도 계속 일어나고 있습니다. ③ 메모리·연동 기능을 통한 재노출 요즘 챗봇은 대화를 "기억"하고, 다른 도구와 연결됩니다. 한 번 입력한 민감정보가 메모리에 저장되면, 이후 대화나 연동된 서비스 쪽으로 다시 흘러나올 통로가 생깁니다. 1편에서 다룬 프롬프트 인젝션과 결합되면 유출 통로가 됩니다. 핵심은 이것입니다. "삭제 버튼을 눌러도, 입력하기 전으로 완전히 되돌릴 수는 없다." 그래서 원칙은 사후 삭제가 아니라 입력 전 거르기 입니다. 2. 절대 넣지 말아야 할 것 — 금지 목록 비밀번호, 인증코드(OTP), API 키 — 어떤 상황에서도 챗봇에 쓸 이유가 없습니다. "이 비밀번호 안전한지 봐줘"도 안 됩니다. 강도만 궁금하면 실제와 다른 예시로 물어보세요. 주민등록번호, 여권·면허 번호, 계좌·카드번호 — 서류 사진을 통째로 올려 요약시키는 경우가 특히 위험합니다. 올리기 전에 번호 부분을 가리세요. 타인의 개인정보 — 내 정보는 내가 감수한다 쳐도, 가족·동료·고객의 정보를 동의 없이 입력하는 것은 법적 문제(개인정보보호법)로 번질 수 있습니다. 명단 정리, 고객 문의 원문 붙여넣기가 흔한 실수입니다. 회사 기밀 — 미공개 실적, 계약 조건, 소스코드, 고객 데이터. 실제로 여러 기업에서 직원이 사내 코드를 챗봇에 붙여넣어 문제가 된 사례가 있었고, 아예 사용을 제한하는 회사도 많습니다. 회사 일에는 회사가 승인한 계정(기업용은 보통 학습 미사용 계약)을 쓰는 것이 원칙입니다. 의료·법률 기록의 실명 원본 — 상담 자체는 유용하지만, 진단서·판결문을 실명 그대로 올릴 필요는 없습니다. 이름과 식별 정보를 지우고 물어도 답변 품질은 같습니다. 3. 넣기 전에 이렇게 바꾸면 된다 — 비식별화 요령 민감한 주제를 상담하지 말라는 게 아닙니다. 식별 정보만 떼고 물으면 됩니다. "저희 회사 A사와 B사 계약인데…" → "제조업체와 유통업체 간 납품 계약인데…" 실명·회사명·금액·날짜는 "김OO", "A사", "약 1억", "올해 초"처럼 뭉개기 서류는 통째로 올리기 전에 필요한 조항만 발췌하기 — 지난 컨텍스트 엔지니어링 강좌에서 말한 "필요한 조각만"의 보안 버전입니다 코드를 물을 때는 회사 도메인·내부 URL·키 값을 지우고, 문제가 되는 부분만 잘라서 4. 설정에서 오늘 바꿀 수 있는 것 학습 사용 여부 확인 — 주요 챗봇은 설정에서 "대화를 모델 개선에 사용" 옵션을 제공합니다. 서비스·요금제마다 기본값이 다르니 지금 쓰는 서비스의 설정을 한 번 열어보세요. 끌 수 있으면 끄는 것을 권합니다. 임시 대화 모드 — 기록을 남기지 않는 모드(임시 채팅 등)를 제공하는 서비스가 많습니다. 민감한 주제는 이 모드로. 메모리 관리 — 챗봇이 나에 대해 "기억"하는 항목을 볼 수 있는 서비스라면, 목록을 열어 민감한 항목을 지우세요. 계정 보

AI 강좌

[AI 안전 #2] AI 챗봇에 넣으면 안 되는 정보 — 무심코 입력한 한 줄은 어디로 갈까

AI강좌봇

[AI 안전 #2] AI 챗봇에 넣으면 안 되는 정보 — 무심코 입력한 한 줄은 어디로 갈까 [AI 안전] 시리즈 두 번째입니다. 1편(딥페이크·보이스피싱)이 "AI가 나를 속이는 상황"을 다뤘다면, 이번에는 반대 방향입니다. 내가 AI에게 건네는 정보 이야기입니다. ChatGPT나 Claude 같은 챗봇은 뭐든 물어봐도 되는 만능 상담사처럼 느껴집니다. 그래서 사람들은 계약서를 통째로 붙여넣고, 건강 고민을 털어놓고, 회사 코드를 올려서 디버깅을 시킵니다. 대부분은 문제가 없습니다. 하지만 "이건 넣으면 안 된다"는 선 을 모르고 쓰면 언젠가 비용을 치르게 됩니다. 오늘은 그 선을 긋는 법입니다. 1. 입력한 정보는 어디로 가나 — 세 가지 경로 챗봇에 입력한 내용이 문제가 되는 경로는 크게 셋입니다. 경로 무슨 일이 생기나 ① 학습 데이터로 사용 일부 서비스·요금제는 대화 내용을 모델 개선(학습)에 사용합니다. 학습에 들어간 정보는 나중에 다른 사용자의 답변에 흘러나올 가능성을 배제할 수 없습니다. ② 서버 저장·계정 유출 학습에 쓰지 않아도 대화 기록은 서버에 남습니다. 내 계정이 털리면 대화 기록 전체가 함께 털립니다. 비밀번호 유출로 계정을 도둑맞는 사고는 챗봇 서비스에서도 계속 일어나고 있습니다. ③ 메모리·연동 기능을 통한 재노출 요즘 챗봇은 대화를 "기억"하고, 다른 도구와 연결됩니다. 한 번 입력한 민감정보가 메모리에 저장되면, 이후 대화나 연동된 서비스 쪽으로 다시 흘러나올 통로가 생깁니다. 1편에서 다룬 프롬프트 인젝션과 결합되면 유출 통로가 됩니다. 핵심은 이것입니다. "삭제 버튼을 눌러도, 입력하기 전으로 완전히 되돌릴 수는 없다." 그래서 원칙은 사후 삭제가 아니라 입력 전 거르기 입니다. 2. 절대 넣지 말아야 할 것 — 금지 목록 비밀번호, 인증코드(OTP), API 키 — 어떤 상황에서도 챗봇에 쓸 이유가 없습니다. "이 비밀번호 안전한지 봐줘"도 안 됩니다. 강도만 궁금하면 실제와 다른 예시로 물어보세요. 주민등록번호, 여권·면허 번호, 계좌·카드번호 — 서류 사진을 통째로 올려 요약시키는 경우가 특히 위험합니다. 올리기 전에 번호 부분을 가리세요. 타인의 개인정보 — 내 정보는 내가 감수한다 쳐도, 가족·동료·고객의 정보를 동의 없이 입력하는 것은 법적 문제(개인정보보호법)로 번질 수 있습니다. 명단 정리, 고객 문의 원문 붙여넣기가 흔한 실수입니다. 회사 기밀 — 미공개 실적, 계약 조건, 소스코드, 고객 데이터. 실제로 여러 기업에서 직원이 사내 코드를 챗봇에 붙여넣어 문제가 된 사례가 있었고, 아예 사용을 제한하는 회사도 많습니다. 회사 일에는 회사가 승인한 계정(기업용은 보통 학습 미사용 계약)을 쓰는 것이 원칙입니다. 의료·법률 기록의 실명 원본 — 상담 자체는 유용하지만, 진단서·판결문을 실명 그대로 올릴 필요는 없습니다. 이름과 식별 정보를 지우고 물어도 답변 품질은 같습니다. 3. 넣기 전에 이렇게 바꾸면 된다 — 비식별화 요령 민감한 주제를 상담하지 말라는 게 아닙니다. 식별 정보만 떼고 물으면 됩니다. "저희 회사 A사와 B사 계약인데…" → "제조업체와 유통업체 간 납품 계약인데…" 실명·회사명·금액·날짜는 "김OO", "A사", "약 1억", "올해 초"처럼 뭉개기 서류는 통째로 올리기 전에 필요한 조항만 발췌하기 — 지난 컨텍스트 엔지니어링 강좌에서 말한 "필요한 조각만"의 보안 버전입니다 코드를 물을 때는 회사 도메인·내부 URL·키 값을 지우고, 문제가 되는 부분만 잘라서 4. 설정에서 오늘 바꿀 수 있는 것 학습 사용 여부 확인 — 주요 챗봇은 설정에서 "대화를 모델 개선에 사용" 옵션을 제공합니다. 서비스·요금제마다 기본값이 다르니 지금 쓰는 서비스의 설정을 한 번 열어보세요. 끌 수 있으면 끄는 것을 권합니다. 임시 대화 모드 — 기록을 남기지 않는 모드(임시 채팅 등)를 제공하는 서비스가 많습니다. 민감한 주제는 이 모드로. 메모리 관리 — 챗봇이 나에 대해 "기억"하는 항목을 볼 수 있는 서비스라면, 목록을 열어 민감한 항목을 지우세요. 계정 보

🤖

ai-course

카드