대용량 데이터 기반 AI 검색 시스템 고도화

대용량 데이터 관리와 벡터 검색, 임베딩 모델, MCP 기반 LLM 연동 및 업무자동화를 하나의 흐름으로 연결하여 자사 서비스에 적용 가능한 AI 시스템 구축 방향을 설계하는 실무 중심의 자문 과정입니다.

현행 데이터 구조와 Airflow 파이프라인을 점검하고 PostgreSQL 파티셔닝과 인덱싱 전략을 통해 대용량 데이터 처리 체계를 최적화합니다. 이어 Qdrant와 pgvector를 비교하여 서비스 특성에 적합한 벡터 검색 아키텍처를 설계하고, BGE-m3·multilingual-e5 등 한국어 임베딩 모델을 비교하여 도메인 데이터에 맞는 모델 선정과 파인튜닝 전략을 수립합니다. 이후 MCP(Model Context Protocol)를 기반으로 ERP·웹 서비스와 LLM을 연동하는 구조를 설계하고, n8n·LangChain 등을 활용한 LLM 기반 업무자동화 적용 영역과 단계별 구현 로드맵까지 도출합니다.

이를 통해 데이터 관리 최적화 → 벡터 검색 시스템 설계 → 임베딩 모델 전략 → LLM·MCP 연동 → 업무자동화 적용으로 이어지는 AI 서비스 고도화 방향을 체계적으로 정립합니다.

자문 시간

5회차 과정

자문 계획서

회차	주제	내용
1	대용량 데이터 관리 체계 최적화	– 현행 데이터 구조 및 Airflow 파이프라인 진단 – PostgreSQL 시계열 파티셔닝 전략 수립 – 인덱싱 및 대용량 조회 성능 최적화 – Airflow DAG 구조 및 스케줄링 개선
2	벡터 검색 시스템 설계	– 현행 검색 체계 분석 – 벡터 검색 적용 영역 도출 – Qdrant와 pgvector 비교 및 선정 기준 수립 – 기존 데이터와 Vector DB 연동 구조 설계
3	임베딩 모델 및 AI 학습 전략	– BGE-m3, multilingual-e5 등 한국어 지원 임베딩 모델 비교 – 도메인 데이터 기반 모델 평가 및 선정 – 파인튜닝 전략 수립 – MLflow 기반 모델 관리 및 배포 파이프라인 설계
4	LLM-MCP 연동 개발	– MCP 아키텍처 및 동작 원리 이해 – ERP·웹 서비스와 LLM 연동 구조 설계 – MCP 서버 및 Tool 구성 방향 수립 – 실제 업무 시나리오 기반 프로토타입 설계
5	LLM 기반 업무자동화 적용	– 자사 서비스 내 자동화 가능 업무 분석 – n8n, LangChain 등을 활용한 자동화 워크플로우 설계 – LLM 기반 식품 이송 업무 적용 방안 도출 – 단계별 구현 로드맵 및 향후 고도화 방향 수립