독한 it

원본 파일을 그냥 쓰면 안되는 이유?AI(LLM)한테 문서를 줄 때 그냥 원본 파일을 바로 던져주면 안된다.PDF 파일에 표, 머리글/바닥글, 페이지 번호, 이미지 캡션, 특수문자, 줄바꿈 깨짐 같은게 다 섞여있다.AI한테 이걸 그대로 주면 쓸데 없는 노이즈가 너무 많아서 검색 품질이 엄청 떨어지게 된다.전처리는 한마디로 AI가 읽기 좋은 깨끗한 텍스트로 만드는 과정전처리 전체 흐름전처리 단계 1 - 텍스트 추출(Text Extraction)파일 포맷에서 순수 텍스트만 꺼내는 것PDF, HWP, Word 같은 파일은 텍스트가 아닌 바이너리 형식이기 때문에 먼저 이 파일을 열어서 텍스트만 뽑아내야된다.텍스트를 뽑아내면 쓸데없는 것들이 잔뜩 섞여 나오기 때문에 다음 단계가 필요하다.전처리 단계 2 - 정제(..

"데이터가 여러 처리 단계를 순서대로 통과하는 흐름"예) 물이 정수장 -> 지역 배수지 -> 각 가정으로 흐를 때 중간에 여러 단계(필터링, 압력 조절, 소독)를 거친다.핵심은 두가지각 단계는 입력을 받아서 처리하고 출력을 내보낸다.단계들이 연결되어 자동으로 흐른다.파이프라인 종류 한 눈에 비교Data Pipeline원본 데이터를 쓸 수 있는 형태로 만들어 저장하는 흐름Data Pipeline의 핵심 패턴은 ETL(Extract -> Transform -> Load) 이다.Kafka가 바로 데이터 파이프라인에서 "수집->전달" 구간을 담당하는 메시지 큐Kafka가 데이터를 받아서 흘려보내면 그걸 Spark나 다른 처리기가 변환해서 DB에 저장CI/CD Pipeline코드 변경이 자동으로 테스트되고 배포되..

AI가 외부 도구, 데이터에 표준화된 방식으로 접근할 수 있게 해주는 통신 규격예) USB가 나오기 전에는 프린터, 마우스, 키보드마다 각각 다른 포트를 써야됐다. 하지만 USB가 생기면서 어떤 장치든 USB 하나로 꽂으면 해결이 됐다.=> MCP가 AI의 USB 역할HOST(AI앱) : Claude, ChatGPT 같이 사용자가 "이 파일 읽어줘" 라고 말하면, HOST가 이 말을 받아들인다.MCP Client : Host 내부에 내장돼 있어 "파일을 읽으려면 파일 서버에 요청해야겠다" 하고 판단해서, 실제로 MCP Server에 요청을 날리는 역할.MCP Server : 파일 읽기, DB 조회, Slack 메시지 보내기 같은 실제 기능을 제공하는 서버. MCP 서버는 3가지를 제공한다. 제공 요소 ..