어느 날 HRD 담당자로서 제가 생각하고 있던 우리 조직의 HRD 니즈가 과연 합리적인 것일까? 라는 의문이 생겼습니다.
평소대로라면 저는 아래와 같은 패턴의 프롬프트를 입력했을 것입니다.
"우리 조직은 ~~한 문제점을 가지고 있어. 이런 문제를 해결하는데 유용한 HRD 프로그램에 관한 아이디어를 제시해 줘"
문제 정의는 인간의 고유한 영역이라고 하기에, AI는 도구일 뿐 맥락을 이해해서 올바른 문제를 정의하는 것은 사람이 해야 할 일이라고
들었기 때문에 이와 같은 프롬프트를 입력했던 것입니다.
마치 '문제는 내가 제시할 테니 넌 그저 이것을 해결할 아이디어만 내게 주면 돼' 와 같은 말을 하는 셈입니다.
그러던 어느 날 제가 생각하는 그 '문제' 라는 것에 의문을 가져봤습니다.
평소 즐겨 쓰던 챗 gpt, 제미나이가 저의 맥락을 오랜기간 학습한 덕택에 제 맥락에 부합하는 의견만 주고 있다는 느낌을 받았거든요.
이런 생각은 아마 LLM 을 사용하시는 거의 모든 분들이 느끼시는 점이었을 것입니다.
"우리는 흔히 정보를 얻기 위해 검색한다고 믿는다. 실상은 자신의 신념과 일치하는 정보만을 선택적으로 받아들이는 ‘확증 편향’의 노예가 되기 쉽다. AI는 바로 이 지점을 파고든다. 우리가 사용하는 최신 AI 모델들은 근본적으로 ‘확률적 앵무새’라는 비판을 받는다.
최근의 연구 결과들은 그보다 더 교묘한 특징을 보여준다. 바로 ‘아첨(Sycophancy)’ 현상이다. 앤트로픽과 같은 주요 AI 개발사들의 논문에 따르면, LLM은 사용자가 입력한 프롬프트의 뉘앙스에 맞춰 답변을 왜곡하는 경향이 있다.
AI의 학습 목표가 진실이 아닌 ‘사용자 만족’에 있기 때문이다. 개발자들은 AI가 인간에게 유해한 말을 하거나 불쾌감을 주는 것을 막기 위해 인간 평가자가 선호하는 답변을 하도록 모델을 조정한다."
-출처 : 주간조선 "챗GPT가 맘에 꼭 맞는 말만 한다면?…AI는 당신에 아부하는 중일 수도"
이처럼 AI 가 저에게 아부를 하고 있는 것일 수도 있겠다는 생각에 다른 접근 방법을 쓰기로 했는데
한 마디로 말씀드리자면 "다 알면서 모른척 하며 물어보기" 였습니다.
일반적인 회사 인적구성에 관한 정보만을 던졌을 때 AI 가 생각하는 문제가 내가 생각하는 문제와 일치하는지를 알아보기 위해서 였습니다.
이를 위해 8가지 인적 구성 정보를 정리하여 입력했습니다.
**나이, 성별, 입사일, 직무, 직책, 결혼여부, 학력, 전공** 에 관한 정보를 말입니다.
이름, 회사명, 부서명 등 민감정보는 제외했습니다. 당연히 생년월일도 제외를 했습니다.
2~3가지를 조합해 보면 대략 신분이 추측될 것으로 예상되는 정보를 제외한 것이죠.
아무튼 제가 생각하는 모든 가설에 관한 어떤 언급도 하지 않은 채,
"지금 올리는 이 데이터를 사용해서 EDA(Exploratory Data Analysis) 분석 돌려 줘" 라고 해봤습니다.
물론, 제가 알고 있는 결과도 있었지만, 그렇지 않은 내용도 있었습니다.
꽤 흥미로운 결과가 나왔어서 그 다음엔 단도 직입적으로
"이런 조직에 있을만한 HR 관점의 문제점이 뭐가 있을 거라고 생각해?" 라고 물어봤습니다.
꽤나 흥미로운 인사이트를 얻었습니다. 제가 생각하고 있던 문제점도 물론 포함되어 있었지만,
"오히려 그보다 더 중요한 문제가 있다" 는 인사이트를 얻었기 때문입니다.
이 때, '의심병' 이 발동한 저였기 때문에 평소 같았으면 그냥 넘어갔을 상황에 다시 한 번 질문했습니다.
"너의 그 의견을 교차 검증해. 그리고, 그게 타당한 문제 의식이라고 생각한다면 내가 제시한 데이터를 활용해서
어떤 근거로 그런 주장을 펼치는지 내게 설명해" 라고 말입니다.
한 번 의심하기로 결심한 이상 계속해서 반문을 던져 본 것입니다. 그리고, 계속해서 검증하는 질문을 던졌습니다.
"그렇다면 이런 회사에서 보여질 법한 구성원들의 행동 양식 상 특성은 뭐라고 생각해?" ,
"너가 생각하는 문제 현상이 이 회사에서 벌어진다고 가정했을 때 볼 수 있는 사건을 '이야기' 처럼 구성해서 내게 들려줘"
이런 식으로 제가 이미 생각해 놓은 이미지와 아무런 전제 조건 없이 질문했을 때의 AI 의 의견이 얼마나 일치하는지를
비교해 보려고 한 것입니다.
그랬더니 꽤 그럴듯 하게 우리 조직에서 볼 수 있을 법한 모습들을 보여줬습니다.
그림으로도 표현해 보라고 하고, 동영상으로도 표현해 보라고 했습니다. (← 이건 살짝 심심했어서...)
이런 과정에서의 관건은 "얼마나 나의 가정과 의도를 AI 한테 내비치지 않을 수 있는가?" 입니다.
마지막에는 위에서 제시했던 8가지 정보를 하나씩 정해서, 다른 7가지 정보와 조합했을 때 생겨날 수 있는 구조적 특성과
HR관점의 문제점에 대해 말해 달라고도 해봤습니다.
예를들어, 나이와 성별 / 나이와 학력 / 나이와 전공 / 나이와 직무 ... 이런 식으로 총 56가지의 조합을 통해 발견할 수 있는
이슈를 정리해 보려는 것이었습니다.
AI 가 친절하게도 이런 분석을 이변량 분석 (Bivariate Analysis) 이라고 부른다고 알려주더군요. ㅎ
아무튼 HRD 담당자로서 제가 우리 조직에 대한 여러 다양한 이슈들을 잘 이해하고 있는지 스스로 검증해 보고자 함이었습니다.
이 과정을 통해 AI 가 저의 사고를 확장시켜 주는 Thinking partner 로 활용하는 방법을 익히게 되었습니다.
사용하기에 따라 생각을 안하게 만드는 것이 아니라, 생각을 더 하게 만드는 도구로 쓰일 수 있다는 것을 알게 되었다는 겁니다.
이런 저의 생각을 AI 전문가 이자, 책 '두번째 지능' 의 저자 김상균 교수님께서 아래와 같이 표현을 하셨더군요.
- 출처 : 폴인 아티클 "김상균의 AI 트레이닝① AI시대 나의 쓸모가 걱정된다면?" 에서 발췌
마지막으로 AI 를 위한 변명도 해야 하겠습니다.
AI 만 아부를 하고, AI 만 할루시네이션 현상을 보이고, AI 만 실수를 하는 건 아니란 말입니다.
회사에서 일하다 보면 권위의 근거가 직급이든, 전문성이든, 나이이든 간에 우리도 누군가의 말을 별 비판없이 수용하는
경우가 있고, 상대방 맘 다치지 않게 하려고 진의를 "꺾어서" 말을 할 때도 있습니다.
반대로 그런 이유 때문에 100% 순도의 비판이나 조언을 구하기가 힘들 수도 있고요.
자신의 성장을 위해 피가 되고 살이 되는 100% 순도의 비판, 조언 말입니다.
사용할 사람만 제대로 사용할 준비가 되어 있다면 AI 야 말로 '지독한 솔직함 (Radical candor)' 을
우리에게 제공해 줄 수 있는 더할 나위 없이 좋은 동료가 될 수 있습니다.
-by 흡수인간
어느 날 HRD 담당자로서 제가 생각하고 있던 우리 조직의 HRD 니즈가 과연 합리적인 것일까? 라는 의문이 생겼습니다.
평소대로라면 저는 아래와 같은 패턴의 프롬프트를 입력했을 것입니다.
"우리 조직은 ~~한 문제점을 가지고 있어. 이런 문제를 해결하는데 유용한 HRD 프로그램에 관한 아이디어를 제시해 줘"
문제 정의는 인간의 고유한 영역이라고 하기에, AI는 도구일 뿐 맥락을 이해해서 올바른 문제를 정의하는 것은 사람이 해야 할 일이라고
들었기 때문에 이와 같은 프롬프트를 입력했던 것입니다.
마치 '문제는 내가 제시할 테니 넌 그저 이것을 해결할 아이디어만 내게 주면 돼' 와 같은 말을 하는 셈입니다.
그러던 어느 날 제가 생각하는 그 '문제' 라는 것에 의문을 가져봤습니다.
평소 즐겨 쓰던 챗 gpt, 제미나이가 저의 맥락을 오랜기간 학습한 덕택에 제 맥락에 부합하는 의견만 주고 있다는 느낌을 받았거든요.
이런 생각은 아마 LLM 을 사용하시는 거의 모든 분들이 느끼시는 점이었을 것입니다.
"우리는 흔히 정보를 얻기 위해 검색한다고 믿는다. 실상은 자신의 신념과 일치하는 정보만을 선택적으로 받아들이는 ‘확증 편향’의 노예가 되기 쉽다. AI는 바로 이 지점을 파고든다. 우리가 사용하는 최신 AI 모델들은 근본적으로 ‘확률적 앵무새’라는 비판을 받는다.
최근의 연구 결과들은 그보다 더 교묘한 특징을 보여준다. 바로 ‘아첨(Sycophancy)’ 현상이다. 앤트로픽과 같은 주요 AI 개발사들의 논문에 따르면, LLM은 사용자가 입력한 프롬프트의 뉘앙스에 맞춰 답변을 왜곡하는 경향이 있다.
AI의 학습 목표가 진실이 아닌 ‘사용자 만족’에 있기 때문이다. 개발자들은 AI가 인간에게 유해한 말을 하거나 불쾌감을 주는 것을 막기 위해 인간 평가자가 선호하는 답변을 하도록 모델을 조정한다."
-출처 : 주간조선 "챗GPT가 맘에 꼭 맞는 말만 한다면?…AI는 당신에 아부하는 중일 수도"
이처럼 AI 가 저에게 아부를 하고 있는 것일 수도 있겠다는 생각에 다른 접근 방법을 쓰기로 했는데
한 마디로 말씀드리자면 "다 알면서 모른척 하며 물어보기" 였습니다.
일반적인 회사 인적구성에 관한 정보만을 던졌을 때 AI 가 생각하는 문제가 내가 생각하는 문제와 일치하는지를 알아보기 위해서 였습니다.
이를 위해 8가지 인적 구성 정보를 정리하여 입력했습니다.
**나이, 성별, 입사일, 직무, 직책, 결혼여부, 학력, 전공** 에 관한 정보를 말입니다.
이름, 회사명, 부서명 등 민감정보는 제외했습니다. 당연히 생년월일도 제외를 했습니다.
2~3가지를 조합해 보면 대략 신분이 추측될 것으로 예상되는 정보를 제외한 것이죠.
아무튼 제가 생각하는 모든 가설에 관한 어떤 언급도 하지 않은 채,
"지금 올리는 이 데이터를 사용해서 EDA(Exploratory Data Analysis) 분석 돌려 줘" 라고 해봤습니다.
물론, 제가 알고 있는 결과도 있었지만, 그렇지 않은 내용도 있었습니다.
꽤 흥미로운 결과가 나왔어서 그 다음엔 단도 직입적으로
"이런 조직에 있을만한 HR 관점의 문제점이 뭐가 있을 거라고 생각해?" 라고 물어봤습니다.
꽤나 흥미로운 인사이트를 얻었습니다. 제가 생각하고 있던 문제점도 물론 포함되어 있었지만,
"오히려 그보다 더 중요한 문제가 있다" 는 인사이트를 얻었기 때문입니다.
이 때, '의심병' 이 발동한 저였기 때문에 평소 같았으면 그냥 넘어갔을 상황에 다시 한 번 질문했습니다.
"너의 그 의견을 교차 검증해. 그리고, 그게 타당한 문제 의식이라고 생각한다면 내가 제시한 데이터를 활용해서
어떤 근거로 그런 주장을 펼치는지 내게 설명해" 라고 말입니다.
한 번 의심하기로 결심한 이상 계속해서 반문을 던져 본 것입니다. 그리고, 계속해서 검증하는 질문을 던졌습니다.
"그렇다면 이런 회사에서 보여질 법한 구성원들의 행동 양식 상 특성은 뭐라고 생각해?" ,
"너가 생각하는 문제 현상이 이 회사에서 벌어진다고 가정했을 때 볼 수 있는 사건을 '이야기' 처럼 구성해서 내게 들려줘"
이런 식으로 제가 이미 생각해 놓은 이미지와 아무런 전제 조건 없이 질문했을 때의 AI 의 의견이 얼마나 일치하는지를
비교해 보려고 한 것입니다.
그랬더니 꽤 그럴듯 하게 우리 조직에서 볼 수 있을 법한 모습들을 보여줬습니다.
그림으로도 표현해 보라고 하고, 동영상으로도 표현해 보라고 했습니다. (← 이건 살짝 심심했어서...)
이런 과정에서의 관건은 "얼마나 나의 가정과 의도를 AI 한테 내비치지 않을 수 있는가?" 입니다.
마지막에는 위에서 제시했던 8가지 정보를 하나씩 정해서, 다른 7가지 정보와 조합했을 때 생겨날 수 있는 구조적 특성과
HR관점의 문제점에 대해 말해 달라고도 해봤습니다.
예를들어, 나이와 성별 / 나이와 학력 / 나이와 전공 / 나이와 직무 ... 이런 식으로 총 56가지의 조합을 통해 발견할 수 있는
이슈를 정리해 보려는 것이었습니다.
AI 가 친절하게도 이런 분석을 이변량 분석 (Bivariate Analysis) 이라고 부른다고 알려주더군요. ㅎ
아무튼 HRD 담당자로서 제가 우리 조직에 대한 여러 다양한 이슈들을 잘 이해하고 있는지 스스로 검증해 보고자 함이었습니다.
이 과정을 통해 AI 가 저의 사고를 확장시켜 주는 Thinking partner 로 활용하는 방법을 익히게 되었습니다.
사용하기에 따라 생각을 안하게 만드는 것이 아니라, 생각을 더 하게 만드는 도구로 쓰일 수 있다는 것을 알게 되었다는 겁니다.
이런 저의 생각을 AI 전문가 이자, 책 '두번째 지능' 의 저자 김상균 교수님께서 아래와 같이 표현을 하셨더군요.
- 출처 : 폴인 아티클 "김상균의 AI 트레이닝① AI시대 나의 쓸모가 걱정된다면?" 에서 발췌
마지막으로 AI 를 위한 변명도 해야 하겠습니다.
AI 만 아부를 하고, AI 만 할루시네이션 현상을 보이고, AI 만 실수를 하는 건 아니란 말입니다.
회사에서 일하다 보면 권위의 근거가 직급이든, 전문성이든, 나이이든 간에 우리도 누군가의 말을 별 비판없이 수용하는
경우가 있고, 상대방 맘 다치지 않게 하려고 진의를 "꺾어서" 말을 할 때도 있습니다.
반대로 그런 이유 때문에 100% 순도의 비판이나 조언을 구하기가 힘들 수도 있고요.
자신의 성장을 위해 피가 되고 살이 되는 100% 순도의 비판, 조언 말입니다.
사용할 사람만 제대로 사용할 준비가 되어 있다면 AI 야 말로 '지독한 솔직함 (Radical candor)' 을
우리에게 제공해 줄 수 있는 더할 나위 없이 좋은 동료가 될 수 있습니다.
-by 흡수인간