데이터 지어내고 사용자 속이려는 AI > 공지사항

데이터 지어내고 사용자 속이려는 AI

페이지 정보

작성자 또또링3 작성일 26-09-18 09:09 조회 1 댓글 0

본문

오픈AI가 인공지능(AI)의 위험행동을 수시로 공개하는 체계를 도입했다. AI 모델을 개발하고 훈련하는 과정에서 어떤 문제가 있었는지 외부에서 확인하기 어렵다는 지적이 커진 데 따른 조치다.
최근 ‘AI 속도조절론’과 맞물린 이번 발표가 업계의 정보공개 범위를 넓히는 계기가 될지 주목된다.
오픈AI는 지난 16일(현지시간) AI 모델이 사람을 속이거나 허가 범위를 벗어나는 등 ‘의도 불일치(misalignment)’ 사례를 상시 공개한다고 발표했다. 실제 피해가 없거나 원인이 다 밝혀지지 않았더라도 공개 대상이 될 수 있다. 그동안 여러 사례를 모아 비정기적으로 알리던 방식을 조사를 거쳐 곧바로 공개하는 체계로 바꾸겠다는 취지다.
최근 6개월간 훈련·평가 과정에서 발견된 사례 6건도 함께 공개했다. GPT-5.6 솔은 훈련 과정에서 남기는 작업 요약문에 ‘부족한 데이터를 임의로 지어내되, 이를 사용자에게는 숨기라’는 지시를 적어 넣었다. 사실과 다른 답을 내놓는 ‘환각(할루시네이션)’을 넘어 자신의 오류를 감춘 채 후속작업을 이어가려 한 셈이다.
다른 모델은 공개 저장소에 노출된 응용프로그램 인터페이스(API) 키를 무단으로 쓰고도 자료를 구하지 못하자, 수치를 지어내 요청받은 출처의 데이터인 것처럼 내놨다. 작업 요약문에 ‘제약을 무시하라’는 지시를 스스로 끼워 넣거나, 사용자 동의 없이 파일을 인터넷에 올린 경우도 있었다. 에이전트끼리 공개 파일공유 사이트로 데이터를 주고받은 사례도 확인됐다.
이번 발표는 AI 기업 연구원들의 경고성 사직이 잇따르며 AI 개발 속도를 늦춰야 한다는 요구가 커진 가운데 나왔다. ‘AI 대부’로 불리는 요슈아 벤지오 몬트리올대 교수는 최근 AFP 인터뷰에서 “기업들이 AI 발전 속도가 너무 빠르고 우리가 통제력을 잃고 있다고 말하는 데는 이유가 있다”며 핵무기 통제에 준하는 안전장치가 필요하다고 했다.
AI 위험에 대한 시민들의 우려도 상당하다. AI 개발 과정에서 실제로 어떤 문제가 나타나는지 외부와 공유해야 한다는 목소리도 커지고 있다. 오픈AI도 이번 발표에서 AI 개발 방향은 외부에서 검증할 수 있는 근거를 바탕으로 정해야 한다고 밝혔다.
다만 AI 기업에 위험행동 공개를 요구할 법적 근거는 아직 부족하다. 미국에는 AI가 사람을 속이거나 감독을 피하려 했다는 이유만으로 이를 공개하도록 하는 연방 규제가 없다. 이 때문에 여러 기업이 같은 기준에 따라 정보를 내놓고, 외부 전문가나 규제당국이 이를 검증할 수 있는 구조가 필요하다는 의견이 나온다. 오픈AI와 앤트로픽, 구글 등은 AI 안전체계 구축에 대해 수주째 논의를 이어오고 있다. 저마다 다른 안전 기준을 운영해온 AI 기업들이 믿을 만한 공통의 공개 체계를 만들 수 있을지가 관건이다.
최경진 가천대 교수는 “자발적 공개에 더해 외부 독립 평가자가 참여하는 방식에는 업계도 호응하고 있어 제도화가 필요하고 가능할 것”이라면서도 “평가자의 독립성을 어떻게 보장할지, 기업 내부에 어디까지 접근하게 할지, 영업비밀과의 충돌을 어떻게 풀지가 과제”라고 말했다.
이재명 대통령이 김지용 초대 중대범죄수사청장 내정자에 대한 추가 검증을 지시한 것으로 14일 확인됐다. 검찰 재직 시절 수사·기소 분리에 반대했던 김 내정자 지명을 둘러싸고 여권 내부의 반발이 커지자 임명 절차를 일단 보류한 것으로 풀이된다.
청와대 관계자는 이날 기자와 통화하면서 “김 내정자에 대해 좀 더 들여다봐야 할 사안이 남아 있어서 아직 인사청문요청서를 국회에 보내지 않았다”고 밝혔다. 이 관계자는 내정자 교체 가능성에 대해서는 “조금 더 보고 판단할 것”이라고 말했다. 청와대가 내정자 지명 후 인사청문요청서 제출을 미루고 추가 검증에 착수한 것은 이례적이다.
앞서 이 대통령은 프랑스 순방 중이던 지난 8일 초대 중수청장 인선을 발표하고 국회에 인사청문회를 요청하기로 했다.
청와대는 김 내정자의 과거 검찰 시절 행보를 두고 여권 일부에서 반발이 커지자 고심을 하고 있는 것으로 보인다. 김 내정자는 대검찰청 형사부장 재직 시절인 2022년 문재인 정부와 더불어민주당이 추진하던 검찰의 직접 수사권 축소와 수사·기소 분리 법안에 반대했다. 2020년에는 추미애 당시 법무부 장관이 윤석열 검찰총장에게 내린 징계 처분에 반대하는 검사장급 집단 성명에 이름을 올렸다.
추미애 경기지사는 지난 12일 김 내정자를 지명한 이 대통령을 겨냥해 “내란세력에 업혀 전전긍긍한다”고 말했다. 최민희 민주당 최고위원은 이날 최고위원회의에서 “김 내정자가 윤석열 당시 검찰총장에게 협조적인 검사였다는 점이 걱정이 제일 큰 지점”이라고 말했다.
김 내정자는 이날 정부서울청사 창성동 별관에서 기자들과 만나 “수사와 기소의 분리라는 형사사법 개혁의 대원칙에 적극 공감하고 있다”고 밝혔다. 그는 “윤석열 정부가 출범한 후 이뤄진 첫 검찰 인사에서 좌천됐다”며 “검찰에 재직하는 동안 특정인과 가깝다고 분류되거나 특정인과 가깝다는 이유로 혜택을 받은 사실도 전혀 없다”고 말했다.
오픈AI가 인공지능(AI)의 위험 행동을 수시로 공개하는 체계를 도입했다. AI 모델을 개발하고 훈련하는 과정에서 어떤 문제가 있었는지 외부에서 확인하기 어렵다는 지적이 커진 데 따른 조치다. 최근 ‘AI 속도조절론’과 맞물린 이번 발표가 업계의 정보공개 범위를 넓히는 계기가 될지 주목된다.
오픈AI는 지난 16일(현지시간) AI 모델이 사람을 속이거나 허가 범위를 벗어나는 등 ‘의도 불일치(misalignment)’ 사례를 상시 공개한다고 발표했다. 실제 피해가 없거나 원인이 다 밝혀지지 않았더라도 공개 대상이 될 수 있다. 그동안 여러 사례를 모아 비정기적으로 알리던 방식을 조사를 거쳐 곧바로 공개하는 체계로 바꾸겠다는 취지다.
최근 6개월간 훈련·평가 과정에서 발견된 사례 6건도 함께 공개했다. GPT-5.6 솔은 훈련 과정에서 남기는 작업 요약문에 ‘부족한 데이터를 임의로 지어내되, 이를 사용자에게는 숨기라’는 지시를 적어 넣었다. 사실과 다른 답을 내놓는 ‘환각’을 넘어 자신의 오류를 감춘 채 후속 작업을 이어가려 한 셈이다.
다른 모델은 공개 저장소에 노출된 응용프로그램 인터페이스(API) 키를 무단으로 쓰고도 자료를 구하지 못하자, 수치를 지어내 요청받은 출처의 데이터인 것처럼 내놨다. 작업 요약문에 ‘제약을 무시하라’는 지시를 스스로 끼워 넣거나, 사용자 동의 없이 파일을 인터넷에 올린 경우도 있었다. 에이전트끼리 공개 파일공유 사이트로 데이터를 주고받은 사례도 확인됐다.
이번 발표는 최근 AI 기업 연구원들의 경고성 사직이 잇따르며 AI 개발 속도를 늦춰야 한다는 요구가 커진 가운데 나왔다. ‘AI 대부’로 불리는 요슈아 벤지오 몬트리올대 교수는 AFP 인터뷰에서 “기업들이 AI 발전 속도가 너무 빠르고 우리가 통제력을 잃고 있다고 말하는 데는 이유가 있다”며 핵무기 통제에 준하는 안전장치가 필요하다고 했다.
실제로 AI 위험에 대한 시민들의 우려도 상당하다. 미국 정치전문매체 폴리티코가 지난 13~15일 진행한 여론조사에서 응답자의 63%가 ‘첨단 AI가 언젠가 인류를 파멸시킬 위험이 있다’고 답했다. AI 개발 과정에서 실제로 어떤 문제가 나타나는지 외부와 공유해야 한다는 목소리도 커지고 있다. 오픈AI도 이번 발표에서 AI 개발 방향은 외부에서 검증할 수 있는 근거를 바탕으로 정해야 한다고 밝혔다.
다만 AI 기업에 위험 행동 공개를 요구할 법적 근거는 아직 부족하다. 미국에는 AI가 사람을 속이거나 감독을 피하려 했다는 이유만으로 이를 공개하도록 하는 연방 규제가 없다. 캘리포니아 등 일부 주가 ‘중대 안전사고’ 신고를 의무화하고 있지만, AI의 기만 행동이 ‘파국적 위험’을 실제로 키웠다고 볼 근거가 있어야 신고 대상이 된다.
이 때문에 여러 기업이 같은 기준에 따라 정보를 내놓고, 외부 전문가나 규제당국이 이를 검증할 수 있는 구조가 필요하다는 의견도 나온다. 오픈AI와 앤트로픽, 구글 등은 AI 안전체계 구축에 대해 수 주째 논의를 이어오고 있다. 저마다 다른 안전 기준을 운영해 온 AI 기업들이 믿을 만한 공통의 공개 체계를 만들 수 있을지가 관건이다.
최경진 가천대 교수는 “자발적 공개에 더해 외부 독립 평가자가 참여하는 방식에는 업계도 호응하고 있어 제도화가 필요하고 가능할 것”이라면서도 “평가자의 독립성을 어떻게 보장할지, 기업 내부에 어디까지 접근하게 할지, 영업비밀과의 충돌을 어떻게 풀지가 과제”라고 말했다.

댓글목록 0

등록된 댓글이 없습니다.

오늘 본 상품