최근 ChatGPT의 성능이 떨어지고 있다?

ChatGPT

 

OpenAI의 ChatGPT 성능 저하 징후

 

OpenAI가 개발한 언어 모델인 OpenAI의 ChatGPT에서 성능 저하 징후가 언급되고 있습니다.

어떤 사람들은 프로그램이 의도적인 성능 저하를 의미하는 "중립화"되었다고 추측하는 반면, 다른 사람들은 사용자가 시스템의 한계를 더 잘 인식하고 있다고 제안합니다. 이는 ChatGPT의 성능이 초기만큼 안정적이지 않아 전반적인 기능이 감소할 수 있음을 이야기합니다.

 

Chat GPT 성능 저하 관련 트윗

 

Stanford University와 UC Berkeley의 최근 관찰과 연구에 따르면 OpenAI에서 개발한 유명한 인공 지능 모델인 ChatGPT의 성능이 저하될 수 있다고 합니다. 

 

GPT-4와 이전 모델인 GPT-3.5가 3월에 데뷔한 이후 눈에 띄는 차이점을 강조했습니다.

가장 눈에 띄는 발견 중 하나는 GPT-4가 복잡한 수학적 질문에 답할 때 정확도가 떨어졌다는 것입니다.

예를 들어, 3월에 큰 규모의 소수에 대한 질문에 높은 성공률(97.6%)을 보였지만 동일한 프롬프트에 대한 정확도는 6월에 2.4%로 급감했습니다.

 

또한 이전에는 답변에 대한 자세한 설명을 제공하는 반면 최근에는 자세한 설명을 제공하는 경우가 줄어들어고, 명시적으로 프롬프트가 표시되는 경우에도 종종 단계별 솔루션을 포기하는 것으로 나타났습니다.

하지만, 흥미롭게도 같은 기간 동안 GPT-3.5는 더 복잡한 코드 생성 작업에 여전히 어려움을 겪었지만 기본적인 수학 문제를 해결하는 데 향상된 기능을 보여주었습니다.

 

위의 연구는 또한 GPT-4의 코딩 기능이 퇴보했음을 발견했습니다.

온라인 학습 플랫폼 LeetCode의 문제를 사용하여 모델을 테스트했을 때 생성된 코드의 10%만이 플랫폼의 지침을 준수했습니다. 이는 3월에 관찰된 50%의 성공률에서 크게 하락한 것입니다.

 

Peter Welinder의 트윗

 

OpenAI의 제품 담당 부사장인 Peter Welinder는 연구가 발표되기 일주일 이상 전에 대중의 우려를 표명하면서 GPT-4가 "단순화"되지 않았다고 말했습니다.

그는 더 많은 사용자가 ChatGPT에 참여할수록 그 한계에 더 잘 적응할 수 있다고 제안했습니다.

 

---

 

AI 모델의 성능 저하

 

AI 모델의 시간적 품질 저하 - Scientific Reports
상대적인 모델 오류가 시간이 지남에 따라 선형적으로 증가하는 것보다 빠르지 않은 점진적인 AI 모델 성능 저하 패턴을 언급합니다. 즉, AI 모델이 더 자주 또는 장기간 사용됨에 따라 성능이 점차 저하될 수 있습니다.

 

모델 노화 차트

 

ML 모델의 91%가 시간 경과에 따라 성능이 저하됨 | MIT 논문
이 MIT 논문 리뷰에 따르면 기계 학습(ML) 모델의 약 91%가 시간이 지남에 따라 성능 저하를 경험합니다.

이러한 현상을 "AI 노화"라고 합니다.

시간이 지남에 따라 모델의 성능이 저하되어 정확도나 효율성이 떨어질 수 있습니다.

주요내용

1. 오류는 시간이 지남에 따라 증가합니다.  시간이 지남에 따라 모델의 성능이 점점 저하됩니다. 이는 모델의 기능에 존재하는 드리프트 또는 개념 드리프트로 인해 발생할 수 있습니다.
2. 오류 변동성은 시간이 지남에 따라 증가합니다.  최상의 시나리오와 최악의 시나리오 사이의 격차는 모델이 오래됨에 따라 증가합니다. ML 모델의 오류 변동성이 높다는 것은 성능이 좋을 때도 있고 나쁠 때도 있다는 의미입니다. 모델 성능이 저하될 뿐만 아니라 불규칙한 동작이 있습니다.