Update glossary.md: Remove outdated AI-related terms and add new definitions...

Update glossary.md: Remove outdated AI-related terms and add new definitions for overfitting, underfitting, bias-variance tradeoff, and more to enhance clarity and relevance.

ai_lecture/glossary.md

@@ -107,23 +107,6 @@
 - **Google Colab (구글 코랩)**
   - **정의**: 구글에서 제공하는 클라우드 기반의 무료 Jupyter 노트북 환경. 별도의 개발 환경 설정 없이 웹 브라우저만으로 파이썬 코드를 작성하고 실행할 수 있으며, 특히 무료로 GPU 가속을 사용할 수 있어 머신러닝 및 딥러닝 모델 학습에 매우 유용합니다.
   - **관련 파트**: [Part 1: AI 개발 환경 완벽 구축 가이드](./part_1_ai_development_environment.md) 
-
-- **AI-Powered IDE (AI 기반 통합 개발 환경)**
-  - **정의**: 기존 IDE에 코드 생성, 수정, 디버깅, 질문 답변 등의 기능을 수행하는 AI 모델이 결합된 차세대 개발 환경. 개발자의 생산성을 극대화하고 반복적인 작업을 자동화합니다. (예: Cursor, GitHub Copilot)
-  - **관련 파트**: [Part 1: AI 개발 환경 완벽 구축 가이드](./part_1_ai_development_environment.md)
-
-- **Cursor**
-  - **정의**: VS Code를 기반으로 제작된 AI 네이티브 코드 에디터. VS Code의 모든 기능과 확장 프로그램을 그대로 사용하면서, 프로젝트 전체의 맥락을 이해하는 AI 채팅, 인라인 코드 생성 및 수정, 자동 디버깅 등 강력한 AI 기능을 제공합니다.
-  - **관련 파트**: [Part 1: AI 개발 환경 완벽 구축 가이드](./part_1_ai_development_environment.md)
-
-- **Code Generation (코드 생성)**
-  - **정의**: 개발자가 자연어(주석 등)로 원하는 기능이나 로직을 설명하면, AI가 그에 맞는 코드 스니펫이나 전체 함수/클래스를 자동으로 작성해주는 기능.
-  - **관련 파트**: [Part 1: AI 개발 환경 완벽 구축 가이드](./part_1_ai_development_environment.md)
-
-- **Context-aware AI (맥락 인지 AI)**
-  - **정의**: 단순히 주어진 질문이나 명령어만 보는 것을 넘어, 현재 작업 중인 프로젝트의 파일 구조, 열려 있는 탭, 터미널 로그, 심지어 참조된 문서까지 종합적으로 파악하여 사용자의 의도에 가장 적합한 답변이나 코드를 제공하는 AI 기술. Cursor의 핵심적인 강점 중 하나입니다.
-  - **관련 파트**: [Part 1: AI 개발 환경 완벽 구축 가이드](./part_1_ai_development_environment.md)
-
 ---
 
 ## 자주 묻는 질문 (FAQ)
@@ -419,6 +402,16 @@
 | **피처 스케일링 (Feature Scaling)** | 데이터의 여러 피처(특성, 변수)들의 값 범위를 일정하게 조정하는 데이터 전처리 기법입니다. 거리 기반 알고리즘이나 경사 하강법 기반 알고리즘에서 피처 간의 단위 차이로 인해 발생하는 문제를 방지하고 모델 학습을 안정적으로 만듭니다. 대표적으로 `StandardScaler`, `MinMaxScaler`가 있습니다. |
 | **모델 평가 (Model Evaluation)** | 학습된 머신러닝 모델이 얼마나 잘 작동하는지, 즉 새로운 데이터에 대해 얼마나 정확한 예측을 하는지를 측정하는 과정입니다. 정확도, 정밀도, 재현율, F1 스코어, AUC 등 다양한 평가지표가 사용됩니다. |
 | **정확도 (Accuracy)** | 분류 모델의 성능을 평가하는 가장 기본적인 지표 중 하나로, 전체 예측 건수 중에서 올바르게 예측한 건수의 비율을 나타냅니다. (정확도 = (TP + TN) / (TP + TN + FP + FN)) |
+| **과적합 (Overfitting)** | 모델이 훈련 데이터에만 너무 과도하게 맞춰져, 노이즈나 특정 패턴까지 전부 외워버린 상태. 훈련 데이터에서는 성능이 매우 높지만, 새로운 테스트 데이터에서는 성능이 급격히 떨어지는 특징을 보입니다. |
+| **과소적합 (Underfitting)** | 모델이 너무 단순해서 데이터의 내재된 패턴을 제대로 학습하지 못하는 상태. 훈련 데이터에서도 성능이 낮고, 테스트 데이터에서도 성능이 낮은 특징을 보입니다. |
+| **편향-분산 트레이드오프 (Bias-Variance Tradeoff)** | 모델의 복잡도와 관련된 문제로, 예측이 실제 값과 벗어나는 경향(편향)과 데이터의 작은 변화에 모델이 민감하게 변하는 정도(분산) 사이의 상충 관계. 이상적인 모델은 편향과 분산이 모두 낮은 균형점을 찾는 것을 목표로 합니다. |
+| **혼동 행렬 (Confusion Matrix)** | 분류 모델의 예측 성능을 시각화하는 표. 모델이 각 클래스를 얼마나 헷갈렸는지(confused)를 보여주며, True Positive, False Positive, True Negative, False Negative로 구성됩니다. 정밀도, 재현율 등의 지표를 계산하는 기반이 됩니다. |
+| **정밀도 (Precision)** | 모델이 "양성(Positive)"이라고 예측한 것들 중, 실제로 양성이었던 것의 비율. `TP / (TP + FP)`. 스팸 메일 필터와 같이, 잘못된 긍정 예측(FP)의 비용이 클 때 중요한 지표입니다. |
+| **재현율 (Recall)** | 실제 양성인 것들 중, 모델이 양성으로 예측한 것의 비율. `TP / (TP + FN)`. 암 진단과 같이, 놓치는 부정 예측(FN)의 비용이 클 때 중요한 지표입니다. |
+| **F1-Score** | 정밀도와 재현율의 조화 평균. 두 지표가 모두 중요할 때, 특히 데이터가 불균형할 때 정확도보다 신뢰할 수 있는 성능 지표로 사용됩니다. |
+| **교차 검증 (Cross-Validation)** | 데이터를 여러 번 다른 방식으로 나누어 학습과 평가를 반복하는 방법. 특정 데이터 분할에 따른 성능 변동의 위험을 줄이고, 모델의 일반화 성능을 더 안정적이고 신뢰성 있게 평가할 수 있습니다. K-겹(K-Fold) 교차 검증이 대표적입니다. |
+| **데이터 누수 (Data Leakage)** | 모델 학습 과정에서, 훈련 시점에는 사용할 수 없는 미래의 정보(예: 테스트 데이터의 정보)가 모델에 흘러 들어가는 문제. 모델의 성능이 비정상적으로 높게 측정되지만 실제 환경에서는 성능이 매우 저조하게 됩니다. |
+| **파이프라인 (Pipeline)** | 데이터 전처리 단계와 모델 학습 단계를 하나로 묶어주는 Scikit-learn의 기능. 여러 단계를 체계적으로 관리하고, 데이터 누수와 같은 실수를 방지하며 코드의 재사용성을 높입니다. |
 
 ---
 
@@ -434,18 +427,23 @@
 | **게이트 (Gate)** | LSTM의 핵심 구성요소로, 정보의 흐름을 제어하는 장치. 시그모이드 함수를 통해 정보의 양을 조절하며, 망각/입력/출력 게이트를 통해 장기 기억을 가능하게 합니다. |
 | **검색 증강 생성 (Retrieval-Augmented Generation, RAG)** | LLM이 최신 정보나 특정 도메인 지식 없이 답변을 생성할 때 발생할 수 있는 환각(Hallucination) 현상을 줄이고, 답변의 신뢰성과 정확성을 높이기 위한 기술입니다. 사용자의 질문에 대해 외부 데이터 소스(벡터 저장소 등)에서 관련 정보를 검색한 후, 이 정보를 LLM에게 참고 자료로 제공하여 답변을 생성하도록 하는 방식입니다. ("오픈북 시험"에 비유) |
 | **거대 언어 모델 (LLM, Large Language Model)** | 방대한 양의 텍스트 데이터로 사전 훈련된 매우 큰 규모의 딥러닝 모델입니다. 인간과 유사한 수준으로 텍스트를 이해하고 생성할 수 있으며, 질문 답변, 번역, 요약, 코드 생성 등 다양한 자연어 처리 작업을 수행할 수 있습니다. (예: GPT-3, BERT) |
+| **경사 하강법 (Gradient Descent)** | 손실 함수의 값을 최소화하기 위해, 손실 함수의 기울기(gradient)가 가리키는 반대 방향으로 모델의 파라미터를 점진적으로 업데이트하는 최적화 알고리즘. 딥러닝 모델 학습의 기본 원리입니다. |
 | **그래프 신경망 (Graph Neural Network, GNN)** | 소셜 네트워크, 분자 구조와 같이 노드(객체)와 엣지(관계)로 구성된 그래프 데이터를 직접 처리하고 학습하는 데 특화된 신경망 아키텍처입니다. |
 | **기울기 소실/폭발 (Vanishing/Exploding Gradient)** | 깊은 신경망이나 RNN에서 역전파 시, 그래디언트(기울기)가 층을 거치면서 너무 작아져(소실) 학습이 멈추거나, 너무 커져(폭발) 학습이 불안정해지는 문제입니다. |
 | **기호주의 (Symbolic AI)** | AI 초기의 주요 접근법으로, 인간의 지식과 논리적 추론 과정을 기호와 규칙(Rule)으로 표현하고 컴퓨터로 처리하여 지능을 구현하려는 시도입니다. (예: 전문가 시스템) |
+| **내부 공변량 변화 (Internal Covariate Shift)** | 딥러닝 모델의 각 층을 지날 때마다 이전 층의 파라미터가 변하면서, 현재 층의 입력 데이터 분포가 계속 바뀌는 현상. 배치 정규화(Batch Normalization)는 이 문제를 완화하여 학습을 안정시킵니다. |
 | **딥러닝 (Deep Learning)** | 여러 층(layers)으로 구성된 인공 신경망(ANN)을 사용하여 복잡한 패턴을 데이터로부터 학습하는 머신러닝의 한 분야입니다. 이미지, 음성, 텍스트와 같은 비정형 데이터 처리에서 뛰어난 성능을 보입니다. |
 | **딥블루 (Deep Blue)** | 1997년, 당시 체스 세계 챔피언 가리 카스파로프를 꺾은 IBM의 체스 컴퓨터. AI가 특정 영역에서 인간 최고수를 이길 수 있음을 보여준 상징적인 사건입니다. |
+| **드롭아웃 (Dropout)** | 훈련 과정에서 신경망의 일부 뉴런을 무작위로 비활성화하여, 모델이 특정 뉴런에 과도하게 의존하는 것을 방지하는 정규화(Regularization) 기법. 과적합을 줄이는 데 효과적입니다. |
 | **레스넷 (ResNet)** | '잔차 학습(Residual Learning)'과 '스킵 연결(Skip Connection)' 개념을 도입하여, 네트워크가 깊어져도 학습이 잘 되지 않는 퇴화(Degradation) 문제를 해결한 혁신적인 CNN 아키텍처입니다. 100층 이상의 매우 깊은 신경망 훈련을 가능하게 했습니다. |
 | **머신러닝 (Machine Learning)** | 컴퓨터가 명시적인 프로그래밍 없이, 데이터를 기반으로 스스로 학습하여 특정 작업을 수행하는 능력을 갖추게 하는 AI의 한 분야입니다. |
 | **메시지 패싱 (Message Passing)** | GNN의 핵심 작동 원리. 각 노드가 자신의 이웃 노드들과 정보를 주고받으며(메시지), 자신의 상태(표현 벡터)를 반복적으로 업데이트하는 과정입니다. |
 | **문서 분할 (Chunking / Text Splitting)** | RAG 파이프라인에서 긴 문서를 LLM이 처리하기 적합한 작은 조각(chunk)으로 나누는 과정입니다. 너무 작으면 문맥을 잃고, 너무 크면 관련 없는 정보가 포함되어 LLM의 처리 효율과 정확도를 떨어뜨릴 수 있으므로, 적절한 크기와 중첩(overlap)을 고려하여 분할하는 것이 중요합니다. |
-| **보상 (Reward)** | 강화학습에서 에이전트가 특정 행동을 취했을 때 환경으로부터 받는 신호. 에이전트는 이 보상을 누적하여 최대화하는 방향으로 학습합니다. |
 | **버트 (BERT)** | Transformer의 인코더 구조만을 사용하여 문장의 양방향 문맥을 학습하는 언어 모델. 문맥 이해에 강점을 보여 분류, 개체명 인식 등 분석 작업에 주로 사용됩니다. |
+| **보상 (Reward)** | 강화학습에서 에이전트가 특정 행동을 취했을 때 환경으로부터 받는 신호. 에이전트는 이 보상을 누적하여 최대화하는 방향으로 학습합니다. |
+| **배치 정규화 (Batch Normalization)** | 각 레이어에 들어오는 미니배치(mini-batch) 입력의 분포를 평균 0, 분산 1로 정규화하는 기법. 학습을 안정화하고 속도를 높이며, 약간의 규제 효과도 있습니다. |
 | **벡터 저장소 (Vector Store / Vector Database)** | 텍스트나 이미지 등에서 추출한 임베딩 벡터를 효율적으로 저장하고 검색할 수 있도록 설계된 특수한 데이터베이스입니다. 의미 기반 검색(Semantic Search), 즉 사용자의 질의 벡터와 가장 유사한 벡터들을 빠르게 찾아내는 기능을 제공합니다. (예: FAISS, Chroma, Pinecone, Weaviate) |
+| **손실 함수 (Loss Function)** | 모델의 예측값과 실제 정답 사이의 차이, 즉 '오차(Error)'를 계산하는 함수. 딥러닝 학습은 이 손실 함수의 값을 최소화하는 것을 목표로 합니다. 문제의 종류(회귀, 분류)에 따라 적절한 손실 함수(MSE, Cross-Entropy 등)를 선택해야 합니다. |
 | **순차 데이터 (Sequential Data)** | 텍스트, 시계열 데이터와 같이 데이터의 순서가 중요한 의미를 갖는 데이터입니다. |
 | **순환 신경망 (Recurrent Neural Network, RNN)** | 내부에 순환 구조를 가져 이전 시간 단계의 정보(은닉 상태)를 기억하고, 이를 현재 계산에 활용하는 순차 데이터 처리에 특화된 신경망입니다. |
 | **스킵 연결 (Skip Connection)** | ResNet의 핵심 아이디어. 입력값을 몇 개의 층을 건너뛰어 출력값에 바로 더해주는 '지름길' 구조입니다. 그래디언트의 흐름을 원활하게 하여 깊은 망의 학습을 돕습니다. |
@@ -453,19 +451,23 @@
 | **에이전트 (Agent)** | 강화학습에서 학습의 주체. 환경과 상호작용하며 행동을 결정하고 보상을 통해 학습합니다. (예: 게임 플레이어, 로봇) |
 | **역전파 (Backpropagation)** | 순전파 결과 나온 예측값과 실제 정답의 오차를 이용해, 신경망의 각 파라미터가 오차에 얼마나 기여했는지를 출력층부터 입력층까지 역으로 계산하고 업데이트하는 알고리즘입니다. 딥러닝 학습의 핵심입니다. |
 | **연결주의 (Connectionism)** | 뇌의 뉴런 구조에서 영감을 받아, 수많은 단순한 처리 장치(노드)들의 연결과 상호작용을 통해 지능을 구현하려는 AI 접근법입니다. 현대 딥러닝의 철학적 기반이 됩니다. |
-| **어텐션 (Attention)** | 디코더가 출력 단어를 예측할 때마다, 인코더의 입력 시퀀스 전체를 다시 참고하여 현재 예측과 가장 관련이 높은 단어에 더 높은 가중치를 부여하는 메커니즘입니다. |
+| **옵티마이저 (Optimizer)** | 손실 함수가 계산한 오차(기울기)를 바탕으로, 모델의 파라미터를 어떻게 업데이트할지 결정하는 알고리즘. 경사 하강법을 실제로 구현하는 방법으로, SGD, Adam 등이 있습니다. |
 | **위치 인코딩 (Positional Encoding)** | 단어를 순차적으로 처리하지 않는 Transformer에게 단어의 순서 정보를 알려주기 위해, 각 단어의 위치마다 고유한 값을 임베딩에 더해주는 기법입니다. |
 | **은닉 상태 (Hidden State)** | RNN에서 특정 시간 단계까지의 입력 순서와 내용을 요약한 '기억' 또는 '문맥' 벡터. 이전 시간 단계의 은닉 상태와 현재의 입력을 받아 계산되며, 다음 시간 단계로 전달됩니다. |
 | **임베딩 (Embedding)** | 텍스트(단어, 문장, 문서)를 저차원의 밀집 벡터(dense vector)로 변환하는 과정 또는 그 결과 벡터를 의미합니다. 이 벡터는 단어나 문장의 의미론적 정보를 담고 있어, 벡터 공간에서 의미적으로 유사한 단어나 문장들이 가깝게 위치하게 됩니다. 텍스트 간 유사도 계산, 검색, 분류 등 다양한 NLP 작업에 활용됩니다. |
 | **인셉션 모듈 (Inception Module)** | GoogLeNet에서 제안된 구조로, 1x1, 3x3, 5x5 등 다양한 크기의 커널을 병렬로 적용하고 결과를 합쳐, 연산 효율을 높이면서 다양한 스케일의 특징을 한번에 잡아내는 블록입니다. |
+| **어텐션 (Attention)** | 디코더가 출력 단어를 예측할 때마다, 인코더의 입력 시퀀스 전체를 다시 참고하여 현재 예측과 가장 관련이 높은 단어에 더 높은 가중치를 부여하는 메커니즘입니다. |
 | **잔차 학습 (Residual Learning)** | ResNet의 핵심 아이디어. 층이 출력값 `H(x)`를 직접 학습하는 대신, 변화량(Residual)인 `H(x) - x`를 학습하도록 하여 깊은 신경망의 학습을 용이하게 합니다. |
 | **장기 의존성 문제 (Long-Term Dependency Problem)** | RNN이 순차 데이터의 길이가 길어질 경우, 먼 과거의 정보가 현재까지 제대로 전달되지 못하고 소실되는 문제. 기울기 소실 문제가 주요 원인입니다. |
 | **전문가 시스템 (Expert System)** | 특정 전문 분야의 지식을 규칙 기반으로 컴퓨터에 저장하고, 이를 바탕으로 일반인도 전문가처럼 문제 해결을 할 수 있도록 돕는 기호주의 기반의 AI 시스템입니다. |
 | **정책 (Policy)** | 강화학습에서 에이전트의 '뇌' 또는 전략. 특정 상태(State)에서 어떤 행동(Action)을 할지 결정하는 함수입니다. |
 | **지피티 (GPT)** | Transformer의 디코더 구조만을 사용하여 이전 단어들을 바탕으로 다음 단어를 예측하며 학습하는 언어 모델. 텍스트 생성에 강점을 보여 챗봇, 콘텐츠 작성 등에 주로 사용됩니다. |
+| **특징 공학 (Feature Engineering)** | 머신러닝 모델의 성능을 높이기 위해, 원본 데이터로부터 모델 학습에 더 유용한 특징(feature)을 수동으로 설계하고 추출, 변환하는 과정. 도메인 지식이 중요하며, 딥러닝의 표현 학습과 대비됩니다. |
 | **튜링 테스트 (Turing Test)** | 앨런 튜링이 제안한 기계의 지능을 판별하는 테스트. 심사관이 인간과 기계의 대화를 구별할 수 없다면, 그 기계는 '생각'할 수 있다고 간주합니다. |
 | **트랜스포머 (Transformer)** | 2017년 구글에서 발표한 딥러닝 모델로, RNN 구조 없이 '어텐션' 메커니즘만으로 언어를 처리합니다. 병렬 처리에 용이하여 현대 LLM의 기반 아키텍처가 되었습니다. |
 | **퍼셉트론 (Perceptron)** | 1957년 프랭크 로젠블랫이 고안한 초창기 인공 신경망 모델. 여러 입력을 받아 하나의 출력을 내보내는 구조로, 딥러닝의 가장 기본적인 단위인 인공 뉴런의 시초가 되었습니다. |
+| **표현 학습 (Representation Learning)** | 데이터로부터 문제 해결에 필요한 특징(feature)을 모델이 스스로 학습하는 능력. 특징 공학 과정을 자동화하며, 딥러닝 모델의 가장 큰 강점 중 하나입니다. |
+| **학습률 (Learning Rate)** | 경사 하강법에서 파라미터를 업데이트할 때, 기울기 방향으로 얼마나 큰 보폭(step)으로 이동할지를 결정하는 하이퍼파라미터. 학습 과정의 안정성과 속도에 큰 영향을 미칩니다. |
 | **행동 (Action)** | 강화학습에서 에이전트가 특정 상태에서 취할 수 있는 행위입니다. |
 | **환경 (Environment)** | 강화학습에서 에이전트가 상호작용하는 대상. 에이전트의 행동에 따라 상태를 바꾸고 보상을 줍니다. (예: 게임 맵, 물리적 공간) |
 | **환각 (Hallucination)** | LLM이 사실이 아니거나 맥락에 맞지 않는 그럴듯한 거짓 정보를 생성하는 현상입니다. 모델이 훈련 데이터에 없는 내용을 추론하거나, 잘못된 패턴을 학습했을 때 발생할 수 있습니다. RAG는 이러한 환각을 줄이는 데 효과적입니다. |
@@ -479,6 +481,7 @@
 | **GoogLeNet** | 2014년 이미지 인식 대회에서 우승한 CNN 모델. '인셉션 모듈'을 사용하여 파라미터 수를 줄이면서도 깊고 효율적인 네트워크를 구축했습니다. |
 | **LangChain** | LLM을 활용한 애플리케이션 개발을 용이하게 하는 오픈소스 프레임워크입니다. LLM을 외부 데이터 소스(문서, DB 등)나 다른 도구들과 쉽게 연동할 수 있도록 다양한 모듈(체인, 에이전트, 메모리 등)과 인터페이스를 제공합니다. RAG 시스템 구축에 널리 사용됩니다. |
 | **LSTM (Long Short-Term Memory)** | RNN의 장기 의존성 문제를 해결하기 위해 고안된 개선된 모델. '셀 상태(Cell State)'와 '게이트(Gate)' 구조를 통해 중요한 정보는 오래 기억하고 불필요한 정보는 잊는 메커니즘을 가집니다. |
+| **`model.train()` / `model.eval()`** | PyTorch 모델의 모드를 전환하는 함수. `model.train()`은 드롭아웃, 배치 정규화 등을 활성화하여 학습 모드로 설정하고, `model.eval()`은 이를 비활성화하여 일관된 예측을 보장하는 평가 모드로 설정합니다. |
 | **PyTorch** | `Tensor` 연산과 자동 미분(Autograd) 기능을 통해 유연하고 동적인 신경망 구축을 지원하는 오픈소스 머신러닝 라이브러리입니다. (비유: 레고 블록) |
 | **VGGNet** | 3x3의 작은 합성곱 필터를 깊게 쌓는 단순하면서도 강력한 구조를 제시한 CNN 모델. 네트워크의 '깊이(depth)'가 성능에 중요하다는 것을 보여주었습니다. |