유무디

AI 기술의 발전은 놀라운 속도로 진행되고 있습니다. 초기의 알고리즘 시대를 지나, 현재는 범용적인 파운데이션 모델(Foundation Model)의 시대로 진입했습니다. 이 변화는 AI 기술의 방향성과 가능성을 크게 바꾸고 있으며, 다양한 산업에 혁신적인 변화를 가져오고 있습니다. 이번 글에서는 파운데이션 모델이란 무엇인지, 알고리즘 시대와의 차이점, 그리고 이 모델이 우리의 미래에 미칠 영향을 자세히 살펴보겠습니다.

1. 파운데이션 모델이란 무엇인가?

파운데이션 모델은 대규모 데이터셋으로 학습된 범용 AI 모델로, 특정 작업에 국한되지 않고 다양한 작업에 적용할 수 있는 강력한 기본 역량을 갖춘 모델입니다.
대표적인 예로 GPT-4, BERT, LaMDA 등이 있으며, 텍스트, 이미지, 오디오 등 여러 형태의 데이터를 처리할 수 있는 다재다능한 모델들입니다.

주요 특징

• 범용성: 하나의 모델로 다양한 작업을 해결 가능
• 전이 학습: 기존 모델에 새로운 데이터를 추가 학습해 빠르게 새로운 작업에 적용
• 미세 조정: 특정 목적에 맞게 모델을 세부적으로 조정해 성능 최적화
• 다양한 데이터 처리: 텍스트, 이미지, 음성 등 다형적 데이터 처리 능력

예를 들어, 파운데이션 모델은 의료 데이터를 학습해 진단 도구로 활용하거나, 금융 데이터를 기반으로 투자 분석을 수행하는 데 유용합니다. 이를 통해 시간과 비용을 절약하면서 높은 효율성을 제공합니다.

2. 알고리즘 시대와 파운데이션 모델 시대의 차이점

특화된 알고리즘의 한계

과거 알고리즘 시대에는 각각의 문제를 해결하기 위해 특정 데이터셋에 맞춘 알고리즘을 설계해야 했습니다.
이로 인해 작업마다 새로운 데이터 준비와 알고리즘 개발이 필요했으며, 이는 시간과 비용 면에서 비효율적이었습니다.
결과적으로, 알고리즘 기반 접근법은 문제 해결 범위가 제한적이고 재사용성이 낮다는 한계를 보였습니다.

• 특화성: 한 작업에만 최적화되어 다른 작업에 재사용이 불가능
• 개발 비용: 새로운 문제마다 모델 설계 및 학습 필요
• 속도 저하: 데이터 준비와 모델 개발에 많은 시간 소요

파운데이션 모델의 범용성

반면, 파운데이션 모델은 하나의 대규모 학습 과정을 통해 다양한 작업에 재사용할 수 있는 범용성을 제공합니다.
이를 통해 데이터 준비와 모델 설계 과정을 간소화하고, 새로운 작업에도 빠르게 적응할 수 있어 효율성과 생산성을 극대화할 수 있습니다.
이는 AI 기술의 민주화를 가속화하며, 기업과 개인 모두가 첨단 기술을 활용할 수 있는 환경을 조성하고 있습니다.

• 효율성: 한 번 학습된 모델로 여러 작업 수행 가능
• 시간 절약: 기존 모델을 미세 조정해 새로운 문제에 빠르게 적응
• 비용 절감: 대규모 학습 이후 추가 학습 비용 최소화

데이터 활용의 차이

알고리즘 기반 AI는 특정 문제에 필요한 데이터를 수집하고 전처리하는 데 많은 시간과 노력이 필요했습니다.
반면, 파운데이션 모델은 대규모 데이터를 통합적으로 학습하여 다양한 작업에서 효율적으로 데이터를 활용할 수 있습니다.
이러한 접근법은 데이터의 양적 활용뿐 아니라 질적 가치 극대화에도 기여합니다.

• 알고리즘 시대: 각 작업에 맞는 데이터 수집이 필수
• 파운데이션 모델 시대: 다양한 형태의 데이터를 통합적으로 처리 가능

이러한 차이는 AI 기술이 초기의 특화된 문제 해결 방식에서, 보다 폭넓고 복합적인 문제를 해결하는 방식으로 전환되었음을 보여줍니다.

3. 파운데이션 모델의 대표 사례

GPT 시리즈 (OpenAI)

GPT-3와 GPT-4는 자연어 처리(NLP) 분야에서 놀라운 성과를 보여주며, 다양한 산업에서 텍스트 기반 작업을 혁신적으로 처리하고 있습니다.
특히 GPT-4는 멀티모달 기능을 추가해 텍스트와 이미지 데이터를 함께 분석하며, 복잡한 문제 해결 능력을 더욱 강화했습니다.

BERT (Google)

BERT는 텍스트의 양방향 맥락을 학습해 더 깊이 있는 자연어 이해를 가능케 합니다.
이는 감정 분석, 질의응답 시스템, 검색 엔진 최적화 등 다양한 응용 분야에서 널리 활용되고 있습니다.

LaMDA (Google)

LaMDA는 대화형 AI 기술의 선구자로, 사람처럼 자연스럽고 유창한 대화를 생성할 수 있습니다.

이 모델은 대화의 맥락을 정확히 이해하고 적절한 응답을 생성하여 차세대 대화형 AI 시스템의 핵심 기술로 주목받고 있습니다. 그 결과, 차세대 대화형 플랫폼과 고객 서비스 자동화 분야에서 중요한 역할을 수행하고 있습니다.

Stable Diffusion

Stable Diffusion은 텍스트 설명을 기반으로 고품질 이미지를 생성할 수 있는 모델로, 창의적 콘텐츠 제작의 새로운 가능성을 제시합니다.
특히 오픈소스로 제공되면서 다양한 연구와 개발 프로젝트에 활용되고 있으며, 예술 및 마케팅 분야에서 주목받고 있습니다.

LLaMA (Meta)

LLaMA는 고효율 대규모 언어 모델로, 자연어 처리 작업에서 우수한 성능을 발휘하는 동시에 비교적 적은 자원으로도 학습 및 활용이 가능하도록 설계되었습니다.

LLaMA는 고효율 대규모 언어 모델로, 연구와 상업적 응용 모두에서 유용하게 활용됩니다.

연구 및 개발 목적으로 최적화된 이 모델은 7B, 13B, 30B, 65B 등 다양한 크기로 제공되어 유연한 활용이 가능합니다.
이는 자연어 처리의 효율성을 높이는 동시에 다양한 크기의 파라미터 옵션을 제공하여 맞춤형 솔루션 개발을 가능케 합니다.

4. 파운데이션 모델이 가져올 미래

파운데이션 모델은 AI 기술의 패러다임을 바꾸고 있습니다.

파운데이션 모델은 기술 개발뿐만 아니라 경제적, 사회적 변화를 이끄는 핵심 동력으로 자리 잡고 있습니다.
이 모델들은 산업 전반의 효율성을 극대화하며, 기업들이 경쟁 우위를 확보하는 데 기여하고 있습니다.
특히, 의료, 금융, 교육 등 핵심 분야에서 맞춤형 솔루션을 통해 혁신적인 가치를 창출할 가능성이 높습니다.

• 산업 혁신: 의료, 금융, 교육 등 다양한 산업에 AI 솔루션 제공
• 효율성 극대화: 작업 간 재사용성과 빠른 적응성으로 비용 절감
• 인공지능 민주화: 소규모 기업이나 개인도 고급 AI 기술에 접근 가능

도전 과제

그러나, 파운데이션 모델의 도입에는 극복해야 할 과제도 존재합니다.

첫째, 대규모 데이터 학습에 필요한 막대한 컴퓨팅 자원은 초기 도입 비용 부담을 증가시킵니다.
둘째, 모델이 생성한 결과의 의사결정 과정을 이해하기 어려운 설명 가능성 부족 문제가 있습니다.
이는 AI 시스템의 신뢰성과 투명성 확보를 위한 기술적, 윤리적 노력이 요구됨을 시사합니다.

1. 컴퓨팅 자원: 대규모 데이터 학습에 막대한 자원 필요
2. 설명 가능성 부족: 모델의 작동 원리 및 결과 도출 과정에 대한 투명성 확보 필요

5. 결론: AI 혁명의 시대, 우리의 선택

알고리즘 시대를 넘어 파운데이션 모델 시대가 도래하며, AI는 단순한 기술적 도구를 넘어 삶의 변화를 이끄는 혁신의 중심이 되고 있습니다.
이 거대한 변화에 적응하고 활용하는 개인과 기업은 새로운 기회를 맞이할 것이며, 이를 놓친다면 뒤처질 위험이 클 것입니다.
파운데이션 모델은 AI 기술의 미래를 정의하는 핵심 축으로, 이를 이해하고 적극적으로 활용하는 자만이 진정한 혁신을 이끌어갈 수 있을 것입니다.
AI와 함께하는 혁명의 시대, 이제 여러분의 선택이 미래를 결정합니다.

지난 시간, 수식을 통한 오차역전파법에 대하여 이해해 보았습니다.

2024.02.08 - [Programming/Deep Learning] - [Python/DeepLearning] #10.2. 역전파) 수식을 통한 오차역전파법 이해

이번 시간에서는 계산 그래프를 통한 역전파에 대하여 알아보도록 하겠습니다!

오차역전파법을 위한 계산 그래프

일전에 수식으로 풀어본 오차역전파법은 수학을 오랫동안 놓았거나 수식으로만 생각하면 본질을 놓칠 우려가 있습니다. 이번에 우리가 해볼 내용은 계산 그래프를 이용해 오차역전파법을 이해하는 것인데요, 수식으로 오차역전파법을 이해하는 것보다는 약간은 부정확할 수 있으나 최종적으로는 수식으로 알아본 오차역전파법을 이해할 수 있고, 실제 코드 구현까지 해보도록 하겠습니다. 계산 그래프로 설명한다는 아이디어는 안드레 카패스의 블로그 또 그와 페이페이 리 교수가 진행한 스탠퍼드 대학교 딥러닝 수업 CS321n을 참고했습니다.

계산 그래프(computational graph)는 계산 과정을 그래프로 그려낸 것입니다. 그래프는 우리가 잘 아는 그래프 자료 구조 형태로 되어 있으며, 처음에 쉽게 접근하기 위해 계산 그래프를 통한 간단한 문제를 풀어보도록 하겠습니다. 먼저 익숙해지자!라는 이야기입니다. 예를 들어 다음과 같은 예시가 있다고 하죠, "A라는 사람이 1개 100원인 사과를 2개 샀습니다. 이때 지불 금액을 구하세요, 단 소비세 10%가 부과됩니다."라는 예시를 계산그래프로 표현하면 다음과 같아집니다.

처음에 사과의 100원이 'x 2' 노드로 흘러 200원이 된 다음 소비세 계산을 위해 'x 1.1' 노드를 거쳐 최종적으로는 220원이 됩니다. 위 그래프에 따르면 최종 답은 220원이 된다는 사실을 알 수 있네요 위의 그림에서는 계산 노드를 각각 'x 2', 'x 1.1'로 표현했지만 '2'와 '1.1'을 각각 사과의 개수와 소비세에 대한 변수가 되기 때문에 따로 빼서 다음과 같이 표기할 수 있습니다.

그럼 다음 문제를 풀어 보도록 하겠습니다.

"A가 사과를 2개, 귤을 3개 샀습니다. 사과는 1개에 100원, 귤은 1개 150원입니다. 소비세가 10% 부과될 때 A가 지불해야 할 금액은?" 위 문제도 계산그래프로 풀어볼 수 있습니다. 이때의 계산 그래프는 다음과 같겠네요!

위 문제에서는 새로운 노드인 덧셈 노드가 추가되었습니다. 덧셈 노드가 추가되어 사과의 가격과 귤의 가격을 합치는 모습이 보이고 있습니다. 왼쪽에서 오른쪽으로 순차적으로 계산을 끝내고 제일 마지막에 1.1을 곱하면 우리가 원하는 값인 715원이 나오고 끝나게 됩니다. 계산 그래프를 이용한 문제풀이는 다음과 같이 해석할 수 있습니다.

1. 계산 그래프를 구성
2. 그래프에서 계산을 왼쪽에서 오른쪽으로 진행

이처럼 '계산을 왼쪽에서 오른쪽으로 진행'하는 단계를 순전파(forward propagation)라고 합니다. 순전파는 계산 그래프의 출발점부터 종착점으로의 전파단계를 그려줍니다. 역전파(backword propagation)는 무엇일까요? 바로 '오른쪽에서 왼쪽으로 전파되는 단계를 의미합니다!

계산 그래프의 특징은 '국소적 계산'을 전파함으로써 최종 결과를 얻는다는 점에 있습니다. 여기서 '국소적'이란, "자신과 직접 관계된 작은 범위"를 의미하는데, 뭔가 떠오르지 않으시나요? 수학으로 따지면 바로 편미분을 의미한다는 것입니다. 즉, 국소적 계산은 전체에서 어떤 일이 벌어지든 상관없이 자신과 관계된 정보만을 토대로 결과를 낼 수 있다는 이야기입니다. 구체적인 예를 들어 보겠습니다. 여러분이 마트에서 사과 2개를 포함한 여러 가지의 물품들을 구매하는 상황을 구해보겠습니다. 그렇다면 사과에 대한 국소적 계산을 진행한다고 이해할 수 있는데요, 그래프로 확인해 보겠습니다.

위 그림에서 여러 식품을 구매하여( 복잡한 계산을 하여) 4,000원이라는 금액이 나왔고, 여기에 사과 가격인 200원을 더해 총 4,200원이 나왔습니다. 이는 '사과에 대한 국소적 계산'이기 때문에, 4,000원이 어떻게 나왔는지는 전혀 신경 쓸게 없다는 이야기가 됩니다. 그냥 단순히 복잡한 계산의 결과물인 4,000원과 사과의 가격인 200원을 더해 4,200을 알아내면 된다는 것이죠. 중요한 점은 계산 그래프는 이처럼 국소적 계산에 집중한다는 것입니다. 전체 계산 자체가 아무리 복잡해도 각 단계에서 하는 일은 해당 노드의 '국소적 계산'일뿐입니다. 국소적 계산은 단순하지만 그 결과를 전달함으로써 전체를 구성하는 복잡한 계산을 해낼 수 있습니다. 마치 자동차 조립을 하는 것과 비슷한데요, 각각의 부품을 복잡하게 만들어 내고, 최종적으로 합쳐 차를 완성하는 단계라고 볼 수 있습니다.

계산 그래프를 사용하는 이유

계산 그래프의 이점은 무엇일까요? 바로 국소적 계산입니다. 전체가 아무리 복잡해도 각 노드에서는 단순한 계산에 집중하여 문제를 단순화시킬 수 있기 때문이지요, 또한 계산 그래프는 중간 계산 결과를 모두 보관할 수 있습니다. 에지에 저장되어 있는 숫자들이 그것을 의미하고 있지요, 하지만 이것 때문에 계산 그래프를 사용하진 않습니다! 계산 그래프를 사용하는 가장 큰 이유는 역전파를 통해 '미분'을 효율적으로 계산할 수 있기 때문입니다.

계산 그래프의 역전파 첫 번째 문제에 대한 계산 그래프는 사과 2개를 사서 소비세를 포함한 최종 금액을 구하는 것이었습니다. 여기서 새로운 문제를 제시해 보겠습니다. "사과 가격이 오르면 최종 금액에 어떠한 영향을 미칠 것인가?"가 문제입니다. 즉 이는 사과 가격에 대한 지불 금액의 미분을 구하는 문제에 해당됩니다. 사과 값을 x로, 지불 금액을 L이라 했을 때

로 표현이 가능하다는 것이죠, 즉 이 미분값은 사과 값이 '아주 조금' 올랐을 때 지불 금액이 얼마나 증가하느냐를 표시한 것입니다. 즉, '사과 가격에 대한 지불 금액의 미분' 같은 값은 계산 그래프에서 역전파를 하면 구할 수 있게 됩니다. 다음 그림에서는 계산 그래프 상의 역전파에 의해 미분을 구할 수가 있습니다. 아직 역전파가 어떻게 이뤄지는지에 대해서는 이야기하지 않았습니다!

위 그림에서 굵은 화살표로 역전파를 표현해 보았습니다. 이 전파는 각각 노드에 대한 국소적 미분을 전달합니다. 즉, 들어오고 있는 사과의 개수나 소비세에 대한 국소적으로 미분을 진행하였기 때문에, 소비세와 사과의 개수 같은 변수에 대한 미분만 진행했다는 이야기입니다. 그리고 그 미분값은 화살표 방향으로 적어내고 있습니다. 이 예에서 역전 파는 오른쪽에서 왼쪽으로 '1 -> 1.1 -> 2.2' 순으로 미분값을 전달하고 있습니다. 이 결과로부터 알 수 있는 사실은 '사과 가격에 대한 지불금액이 미분'값은 2.2라는 것을 알 수 있게 됩니다. 즉, 사과 가격이 1원 오르면 최종 가격은 2.2원 오른다는 것이죠. 여기에서는 사과 가격에 대한 미분만 구했지만, '소비세에 대한 지불 금액의 미분'이나 '사과 개수에 대한 지불 금액의 미분'도 같은 순서로 구해낼 수가 있습니다. 그리고 그때는 중간까지 구한 미분 결과를 공유할 수 있어서 다수의 미분을 효율적으로 계산할 수 있습니다. 이처럼 계산 그래프의 이점은 순전파와 역전파를 활용해서 각 변수의 미분을 효율적으로 구할 수 있다는 것입니다.

연쇄법칙과 계산 그래프

연쇄법칙 계산을 계산 그래프로 나타낼 수 있습니다. 2 제곱 계산을 '**2' 노드로 나타내면 다음과 같습니다.

오른쪽에서 왼쪽으로 신호가 전파되는 모습을 볼 수 있습니다. 역전파에서의 계산 절차는 노드로 들어온 입력 신호에 그 노드의 국소적 미분인 편미분을 곱한 후 다음 노드로 전달합니다. 예를 들어 **2 노드에서의 역전파를 보면 입력은 ∂𝑧∂𝑧이며, 이에 대한 국소적 미분인 ∂𝑧∂𝑡를 곱해 다음 노드로 넘깁니다. 맨 왼쪽의 역전파를 보면 x에 대한 z의 미분이 연쇄법칙에 따라서

가 된다는 사실을 알아낼 수 있고, 이를 계산하면

가 된다는 사실을 알아낼 수 있습니다.

지금까지 아주아주 긴 오차역전파법을 위한 계산 그래프를 위한 이해를 수식으로 알아보았습니다! 다음 세션을 통해 최종적으로 코드 구현을 해보겠습니다.