오픈스택

Machine Learning Platform Engineering Study - 3주차

CH6·CH7에서 다룬 모델 API 서빙, 데이터 드리프트 모니터링, Kubeflow 노트북과 파이프라인 값 전달의 핵심 흐름을 정리했다. 원본 설명은 교재·실습 자료의 동작을, 개선 제안은 그 구현을 보완하는 방법을 뜻한다. 실습 결과는 스터디 실습 환경(kind, BentoML 1.1.10, Yatai 1.1.13, Evidently 0.5.0, KFP 2.4.1)에서 확인한 내용이다. CH7은 7.2.1까지 다루고, 7.2.2부터는 4주차에 이어서 정리한다. 구성도는 학습 내용을 바탕으로 다시 그렸다.CH6. Productionizing ML models: BentoML과 EvidentlyCH5에서는 소득 분류기를 배치 파이프라인으로 배포했다. CH6은 같은 모델을 API 엔드포인트로 서빙하고, 운..

Machine Learning Platform Engineering Study - 2주차

CH4·CH5에서 다룬 실험 추적, 피처 관리, 배치 추론의 핵심 흐름을 정리했다. 원본 설명은 제공된 교재·실습 자료의 동작을, 개선 제안은 그 구현을 보완하는 방법을 뜻한다. 구성도는 학습 내용을 바탕으로 다시 그렸다.CH4. 신뢰할 수 있는 머신러닝 시스템 설계MLflow는 어떤 조건으로 모델을 학습했는지 기록하고, Feast는 모델에 사용할 피처를 정의하고 조회한다. 두 도구에서 준비한 모델과 피처는 CH5의 배치 추론으로 연결된다.구성도 01. CH4의 학습·피처 관리가 CH5 배치 추론으로 이어지는 구조세 도구는 실험·피처·실행을 각각 관리하며, 데이터와 산출물은 S3 호환 저장소를 통해 연결된다.4.1 실험 추적을 위한 MLflowMLflow는 한 번의 실행을 Run으로 기록하고 관련 실행을..

Machine Learning Platform Engineering Study - 1주차 및 AI 용어 추가공부

CH1. MLOps와 ML 엔지니어링의 시작 1.1 머신러닝 수명주기 모델을 만들기 전에 예측 결과의 용도부터 정해야 한다. 고객 이탈을 예측한다면 이탈의 기준, 예측할 시점, 결과를 받은 담당자의 후속 행동이 필요하다. 이 기준이 정해져야 수집할 데이터와 평가 방법도 정할 수 있다.단순한 규칙으로 만든 기준선도 비교 대상이 된다. 모델을 도입했을 때 개선되는 정도와 운영 부담을 함께 판단할 수 있기 때문이다. 각 단계에서 확인한 문제가 앞 단계의 수정으로 이어진다. 평가에서 특정 입력에 취약한 점을 발견하면 데이터를 보강하고, 운영 목적이 바뀌면 예측 대상부터 다시 정할 수 있다. 1.1.1 실험 단계 실험 단계에서는 확보한 데이터로 문제를 풀 수 있는지 확인한다. 데이터를 정리하고 기준 모델을 만든..

[AI] 간단하게 이해하는 RAG

RAG 란?AI 가 답변에 필요한 자료를 참고하게 하는 방식이다. 예를 들어 노트북 대여 방법을 질문하면 신청 방식과 승인 조건을 찾고 AI 가 그 내용을 읽어 설명한다. 그러면 AI 에게 질문과 함께 관련된 링크를 주는 방식과 무슨 차이가 있을까? 이걸 시스템화 한 것이 바로 RAG 이다. RAG 는 크게 두 가지로 나눌 수 있는 데 자료정리와 검색이다.자료정리) 도서관에 새로운 책이 입고가 되면 사서가 분류 및 검색하기 쉽게 라벨을 붙여 책장에 넣는 것검색) 컴퓨터를 통해 내가 원하는 책을 검색해 정보를 참고하는 것

빠르게 바보가 되는 방법

AI 을 활용하여 문제를 해결할 때, 무엇을 어떻게 해서 해결할 것인 지에 대한 최소한의 생각은 필요하다. AI 에게 "스크린샷보고 해결해, ~ 을 만들어줘, 다시 해주세요, 개선해주세요, 잘못된 것 같은데 해결해주세요" 만 사용해도 상당 수의 문제을 해결할 수 있다. 그러나 이것이 습관이 되어 계속 남발하다 보면 문제가 될 수 있다.조금씩 기억력, 의사결정, 어휘력 등 사고능력이 감소하게 된다. 단 걸 많이 먹고 이를 닦지 않으면 썩는다. 마찬가지로 AI을 활용할 때 위탁하면 위탁할수록 나도 모르는 사이, 문제해결능력과 사고능력이 발전할 수 없고 떨어지게 된다. (인지 오프로딩) AI 활용이 나쁘다는 것이 아닌, 최소한의 생각으로 인지 능력의 저하를 막으면 좋을 것이다. 실제로 저자는 하루 최소 5시..

eBPF 란?

처음 배우는 eBPF와 LSM전제 지식부터 첫 실습까지 — 한 번에 큰 그림 잡기목차먼저 알아둘 기본 용어eBPF란? (한 페이지 요약)왜 혁명적인가 — 이전 방식과 비교핵심 개념 3가지: 훅·프로그램·맵실제 BPF 프로그램은 이렇게 생겼다Verifier — 안전한 이유첫 실습: bpftrace 3단계실제 세상에서 eBPF는 어디에?LSM이란? 왜 필요한가BPF LSM — 둘의 만남흔한 오해 FAQ트러블슈팅학습 로드맵용어 사전 · 한 줄 요약1. 먼저 알아둘 기본 용어eBPF를 이해하려면 세 가지 개념을 먼저 잡고 가자. 이미 안다면 넘어가도 좋다.🧠 전제 지식 체크① 커널스페이스(Kernel-space) vs 유저스페이스(User-space)리눅스는 메모리를 두 구역으로 나눈다:커널스페이스 — 커널(..

[Cloud] AWS API Gateway 와 Azure APIM

AWS API GatewayAWS API Gateway는 Amazon Web Services에서 제공하는 완전 관리형 API 생성·배포·관리 서비스로, 규모에 상관없이 REST · HTTP · WebSocket API를 쉽게 만들고 운영할 수 있습니다.1. API Gateway 유형 3가지유형특징주요 용도REST API풍부한 기능, 스테이지/캐싱/사용량 플랜 지원엔터프라이즈급 APIHTTP API경량화, 저지연, 저비용 (REST API 대비 ~70% 저렴)단순 프록시, Lambda 연동WebSocket API양방향 실시간 통신 지원채팅, 실시간 알림2. AWS API Gateway 구성도 3. 핵심 기능트래픽 관리스로틀링(Throttling) 및 쿼터(Quota) 설정사용량 플랜(Usage Plan)으..

클로드 코드로 (바이브 코딩) 하루 100명 방문하는 웹 사이트 운영해본 썰

글쓴이는 개발자는 아니고, 인프라 엔지니어로 자잘하게 경력을 가지고 있다.즉, 개발에 대해 윤곽만 알고 있는 정도이다. 한 달, 한 달 시간이 지날 수록 점차 바이브 코딩에 대해 그 성능을 체감하게 되었다.기획만으로 웬만한 웹사이트는 다 만들 수 있게 되었는데... 리눅스 서버에 클로드 코드를 설치하면, 알아서 필요한 환경 셋팅부터 시작해서 (파이썬, 노드, 자바 설치 및 환경변수 설정 등), 코드 작성 및 필요한 라이브러리 설치, 서버 실행 (필자는 도커나 쿠버네티스로 했는데 클로드 코드가 알아서 이미지 빌드부터 배포까지 다 해줬다. 난 이제 뭐먹고 살지?...??) 웹 사이트는 3시간 만에 배포까지 끝났다. (널널하게 잡아서 3시간 정도이나, 그 보다 더 훨씬 빨랐을 것이다.) 특별한 건 아니고 그저..

[Agentic AI] AI 에이전트에 대한 사소한 의문점 해소

개요)Agentic AI 의 구조를 공부하다, 생긴 의문점에 대한 해소 공유 Agentic AI 구조는 다음과 같은데 User -> Agentic AI -> LLM | Tools (날씨API) 이때 의문점이 발생하였다.사용자가 Agentic AI 에게 "오늘 날씨 알려줘" 라고 하면, 에이전트는 자기가 사용가능한 도구를 확인하여,날씨api 도구를 통해 날씨 정보를 조회한다. (맑음, 12도) 이미 필요한 결과 값을 LLM 을 호출하기 전에 에이전트가 자체적으로 얻었는데 LLM API 를 호출하는 이유는 무엇일까? 이는 구조를 잘못 이해한 것으로.. User -> Agentic AI -> LLM | ..

MCP 란?

MCP(Model Context Protocol) : AI 모델이 외부의 데이터 소스나 도구와 안전하고 표준화된 방식으로 소통할 수 있도록 만들어진 오픈소스 프로토콜이다. MCP 핵심구조: 호스트-클라이언트-서버(Host-Client-Server) 아키텍처를 기반으로 작동하며, 크게 3가지 주요 구성 요소로 나뉜다. MCP 호스트 (Host)역할: 사용자가 직접 상호작용하는 AI 애플리케이션 또는 서비스 환경이다.특징: 사용자의 입력을 받고, 여러 서버에서 가져온 컨텍스트를 종합하여 최종 답변을 생성하는 총괄 지휘 (오케스트레이션) 역할을 한다. MCP 클라이언트 (Client)역할: 호스트 내부에 속해 있으며, 특정 서버와의 1:1 연결을 유지하는 중계자이다.특징: AI 의 요청을 프로토콜 규격에 맞게..