AI 개발 트렌드
현업에서 실제로 쓰이고 있는 AI 개발 스택과 툴체인의 흐름을 정리합니다. 아직 검증되지 않은 소문이나 추측성 정보보다는, 실제 도입 사례와 공개된 자료를 바탕으로 한 내용을 우선합니다. 새로운 도구가 등장할 때 무엇을 눈여겨봐야 하는지 판단 기준을 제시하는 데 중점을 둡니다.
글 20편 최근 업데이트순
PDF 문서를 RAG용 벡터 데이터로 변환하는 청킹 전략과 파이썬 구현 가이드
RAG 검색 품질을 극대화하기 위해 복잡한 구조의 PDF 문서를 파싱하고 의미 단위로 분할하는 3대 청킹 전략과 표 데이터 보존, 메타데이터 연동 및 파이썬 기반 구현 절차를 실무 예제 코드와 함께 상세히 정리했다.
멀티 에이전트 시스템 설계 패턴: Orchestrator와 Worker 역할 분리와 상태 동기화 실무
멀티 에이전트 시스템 구축 시 Orchestrator와 Worker의 책임 경계를 명확히 분리하고 상태 동기화 실패를 방지하는 실무 아키텍처 설계 패턴과 안전 가드레일 구현 가이드를 코드 예제와 함께 상세히 다룹니다.
PyTorch/XLA에서 TorchTPU로 옮기기: 11월 15일 아카이브 전 코드 변경과 검증 순서
PyTorch/XLA가 deprecated되고 2026년 11월 15일 아카이브가 예고됐다. torch_xla 코드를 TorchTPU 0.2.0으로 옮기는 설치, API 대응표, Strict·DeferAndFuse 모드 선택, 정밀도 차이 검증, 분산 실행 주의점을 순서대로 정리했다.
TypeSafe Jev 시작하기: TypeScript SDK로 타입 안전한 분류 결정 만들고 confidence로 자동 처리·사람 검토 나누기
TypeSafe AI의 Jev를 TypeScript SDK로 호출해 리뷰 분류기를 만드는 과정을 정리했다. 라벨을 타입으로 받아 오타를 컴파일 단계에서 잡고, confidence로 자동 처리와 사람 검토를 나누며, 모델 버전 고정과 오류 처리까지 다룬다.
LLM으로 텍스트 분류기 만들기: 라벨 정의, few-shot 예시, 혼동행렬로 평가하기
고객 문의나 티켓을 LLM으로 분류할 때 라벨 정의서 작성, 경계 사례 few-shot 예시 고르기, 구조화 출력의 enum으로 라벨 고정, 정답셋과 혼동행렬로 헷갈리는 라벨 쌍을 찾아 고치는 순서와 운영 기준까지 정리했다.
임베딩 모델 교체 시 벡터 재색인: 이중 인덱스와 점진 전환 순서
RAG의 임베딩 모델을 바꿀 때 기존 벡터와 새 벡터를 섞어 검색할 수 없는 이유와, pgvector 기준으로 새 컬럼·인덱스를 만들어 재색인하고 검색 평가로 비교한 뒤 읽기를 옮기는 순서를 정리했다. 차원 변경과 비용 추정 방법도 다룬다.
로컬 LLM 서빙 비교: Ollama·llama.cpp·vLLM을 용도별로 고르는 기준
개인 개발 환경, 사내 소규모 API, 다중 사용자 서빙 상황에서 Ollama, llama.cpp 서버, vLLM을 설치 난도, 하드웨어 요구, OpenAI 호환 API, 동시 처리 방식 기준으로 비교하고 실행 명령과 전환 시 확인할 점을 정리했다.
RAG 검색 단계 평가: recall@k·MRR로 리트리버 품질을 수치로 재는 스크립트
RAG의 답변 품질과 분리해 검색 단계만 평가하는 방법을 정리했다. 질문과 정답 문서로 평가셋을 만들고 recall@k, MRR, nDCG를 계산하는 스크립트, 청크 크기나 임베딩 모델을 바꾸기 전후를 비교하는 순서를 다룬다.
프롬프트 캐싱으로 LLM API 비용 줄이기: Anthropic·OpenAI 캐시 조건과 프롬프트 배치 순서
Anthropic의 cache_control과 OpenAI의 자동 프롬프트 캐싱이 적용되는 조건을 비교하고, 캐시 적중률을 높이는 프롬프트 배치 순서와 사용량 필드로 적중 여부를 확인하는 스크립트를 정리했다. 캐시를 깨뜨리는 흔한 변경도 다룬다.
프로덕션 배포 전 LLM 평가: 골든셋, 결정적 검사, 회귀 비교를 코드로 만드는 순서
GitHub이 시크릿 스캐닝 오탐을 줄이며 정리한 LLM 평가 원칙을 바탕으로, 한국어 골든셋 작성, JSON 형식·값·금지어 검사, 프롬프트 변경 전후 회귀 비교를 Node 스크립트로 구현하고 실행 결과와 promptfoo 대응 설정까지 정리했다.
RAG란 무엇인가: 긴 문맥 모델 시대에도 검색 증강이 필요한 경우와 필요 없는 경우
RAG(검색 증강 생성)가 무엇이고 긴 문맥 모델에서도 언제 필요한지, 지식 문서 규모·갱신 주기·출처 표시·비용 기준으로 정리했다. 이 사이트 글 78건을 청크로 나눠 질문에 맞는 근거를 찾는 의존성 없는 검색 예제와 실행 결과, 단순 검색의 한계도 함께 다룬다.
RAG 답변의 환각 줄이기: 문장별 출처 표시와 자동 검증 스크립트, 그리고 그 한계
RAG를 써도 환각이 남는 이유를 정리하고, 답변을 문장 단위로 받아 출처 번호를 붙이게 한 뒤 출처 없는 문장, 존재하지 않는 출처, 출처에 없는 숫자를 걸러내는 검증 스크립트를 실행 결과와 함께 다룬다. 규칙 기반 검증이 잡지 못하는 오용 사례도 보여 준다.
LLMOps 모니터링 항목과 구현: 호출 로그 스키마부터 프롬프트 버전별 집계까지
LLM 서비스 운영에 필요한 모니터링 항목을 정리하고, OpenTelemetry GenAI 속성 이름을 따른 호출 로그 스키마와 프롬프트 버전별로 오류율, 지연 시간 p95, 토큰, 예상 비용, 사용자 피드백을 집계하는 스크립트와 실행 결과를 함께 다룬다.
AI 코딩 툴체인 5계층: 규칙·접근 차단·에이전트 확장·리뷰·자동 검증 설정 파일 정리
AI 코딩 도구 스택을 제품 순위가 아니라 규칙, 접근 차단, 에이전트 확장, 리뷰, 자동 검증 다섯 계층의 설정 파일로 정리했다. 계층별 최소 예시와 저장소에 어떤 파일이 있는지 확인하는 점검 스크립트, 이 사이트 저장소에 실행한 결과를 함께 싣는다.
프롬프트를 코드처럼 버전 관리하기: 변경 이력, 평가, 롤백
LLM 애플리케이션의 프롬프트를 코드처럼 관리하는 방법을 정리했다. 프롬프트를 별도 파일로 분리하고 버전을 기록하는 구조, promptfoo로 테스트 케이스와 단언을 만들어 PR마다 평가하는 방법, 배포 버전 로깅과 롤백 절차를 다룬다.
LLM 호출 전 개인정보 마스킹 설계: 탐지·치환·복원 흐름과 Presidio 예시
LLM API로 보내기 전에 개인정보를 탐지해 가리는 설계를 정리했다. 마스킹 위치와 치환·가림·해시·암호화 방식 선택, Microsoft Presidio 분석기·익명화기 사용법, 주민등록번호 같은 패턴 인식기 추가, 응답 복원 흐름과 탐지 누락 대비를 다룬다.
프롬프트 인젝션 방어: 간접 인젝션 경로와 도구 권한 제한 설계
LLM 애플리케이션의 프롬프트 인젝션을 OWASP LLM01 기준으로 정리했다. 직접·간접 인젝션의 차이, RAG·웹 검색·도구 결과로 들어오는 경로, 외부 콘텐츠 분리, 도구 최소 권한, 출력 형식 검증, 사람 승인 지점과 적대적 테스트를 다룬다.
LLM 구조화 출력: JSON 스키마와 Zod로 응답 형식을 보장하고 검증하기
LLM 응답을 JSON으로 받아 안전하게 쓰는 방법을 Claude 구조화 출력 문서 기준으로 정리했다. output_config.format 설정, Zod 헬퍼, 지원되지 않는 스키마 제약, 거절·토큰 한도 처리와 2차 검증을 다룬다.
비전공 개발자를 위한 벡터 임베딩과 코사인 유사도 쉽게 이해하기
벡터 임베딩과 코사인 유사도는 선형대수학을 몰라도 비유로 이해할 수 있는 개념이다. 도서관 지도에 책을 배치하는 비유를 통해 두 개념의 핵심 원리를 짚고, 임베딩 모델과 벡터 데이터베이스를 실무에 활용하는 방법까지 정리했다.
RAG 검색 정확도를 높이는 하이브리드 검색과 리랭킹 기초
벡터 검색만 쓰는 RAG가 겪기 쉬운 검색 정확도 한계를, 키워드 검색을 결합한 하이브리드 검색과 리랭킹으로 보완하는 방법을 정리했다. 점수 결합 방식과 파이프라인 구성 순서, 지속적인 튜닝이 필요한 이유를 함께 다룬다.