파이프라인

• "데이터가 여러 처리 단계를 순서대로 통과하는 흐름"
• 예) 물이 정수장 -> 지역 배수지 -> 각 가정으로 흐를 때 중간에 여러 단계(필터링, 압력 조절, 소독)를 거친다.
• 핵심은 두가지
  • 각 단계는 입력을 받아서 처리하고 출력을 내보낸다.
  • 단계들이 연결되어 자동으로 흐른다.

파이프라인 종류 한 눈에 비교

Data Pipeline

• 원본 데이터를 쓸 수 있는 형태로 만들어 저장하는 흐름
• Data Pipeline의 핵심 패턴은 ETL(Extract -> Transform -> Load) 이다.
• Kafka가 바로 데이터 파이프라인에서 "수집->전달" 구간을 담당하는 메시지 큐
  • Kafka가 데이터를 받아서 흘려보내면 그걸 Spark나 다른 처리기가 변환해서 DB에 저장

CI/CD Pipeline

• 코드 변경이 자동으로 테스트되고 배포되는 흐름
• CI/CD 중간에서 빌드된 Docker 이미지를 Harbor에 저장하고, 배포 단계에서 Harbor에서 꺼내 쓰는 구조

RAG Pipeline

• AI가 내 회사 문서를 참고해서 답변하게 만드는 흐름
• RAG는 두 개의 파이프라인이 합져진 구조
  미리 문서를 처리해두는 인덱싱 파이프라인 / 실시간 질문에 답하는 검색-생성 파이프라인
• 문서를 벡터로 바꿔 저장해두고(인덱싱) 질문이 들어오면 유사한 청크를 꺼내서 LLM한테 같이 던져주는 구조

ML Training Pipeline

• 모델을 학습시키고 배포하는 흐름
• pandas(데이터 준비), scikit-learn(피처 엔지니어링 + 학습 + 평가)가 ML Training Pipeline의 각 단계 도구

정리

파이프라인	한 줄 요약	업무와 연결
Data	데이터 수집·가공·저장 자동화	Kafka가 이 역할
CI/CD	코드 → 배포 자동화	Harbor가 이 중간에 있음
RAG	문서 → 벡터 저장 → AI 검색 답변	Spring AI
ML Training	데이터 → 모델 학습 → 서빙	Colab 실습 흐름 전체

공통 핵심 : 어떤 파이프라인이든 단계(stage)들이 연결되어 자동으로 흐른다는 것.