Shong Studio의 정보 창고

🧩 Docker 기본 명령어 정리▪️ Docker 버전 및 상태 확인docker versiondocker infoDocker 엔진의 상세 상태(컨테이너 수, 이미지 수, 실행 여부 등)를 확인합니다.▪️ Docker 데몬 실행 / 중지 / 상태 확인sudo systemctl start dockersudo systemctl stop dockersudo systemctl restart dockersudo systemctl status docker▪️ 실행 중인 컨테이너 목록 확인docker ps [-a]현재 실행 중인 컨테이너 목록 표시-a: 정지된 컨테이너까지 모두 표시▪️ 도커 이미지 목록 확인docker images도커 이미지 목록을 확인합니다.▪️ 컨테이너 생성 및 실행docker run -d -p..

[ 25-11-01 기준으로 작성되었습니다. ] 🐋 Ubuntu 24.04 (Noble) 기준 최신 설치 절차터미널에서 한 줄씩 실행하세요.1️⃣ 패키지 캐시 업데이트sudo apt updatesudo apt install -y ca-certificates curl gnupg lsb-release2️⃣ 키링 디렉터리 생성 및 공식 GPG 키 등록sudo install -m 0755 -d /etc/apt/keyringscurl -fsSL https://download.docker.com/linux/ubuntu/gpg | \ sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpgsudo chmod a+r /etc/apt/keyrings/docker.gpg3️⃣ Dock..

아래 튜토리얼은 사내 LiteLLM + vLLM 환경을 전제로,langchain_openai.ChatOpenAI를 LangChain Agent와 LangGraph 두 방식으로 붙이는 “실전용” 예시입니다.(외부 API 불필요 / OpenAI 호환 규격만 사용)0) 준비물pip install -U langchain langchain-openai langgraph pydantic python-dotenv httpx tiktoken.env (또는 환경변수)LITELLM_BASE_URL=http://litellm.internal/v1LITELLM_API_KEY=internal-key # LiteLLM에서 요구하는 값(미사용이면 임의의 값)파이썬 공통 유틸 (config.py)import osfrom dote..

✅ langchain_openai.ChatOpenAI는 “OpenAI API 규격(OpenAI-compatible)”을 따르는 모든 모델을 호출할 수 있습니다.❌ 즉, 이름은 “OpenAI”이지만 OpenAI 회사 전용이 아닙니다.base_url만 바꾸면 사내 LiteLLM, vLLM, Ollama, Azure OpenAI 등 어떤 모델이든 연결 가능합니다.🧠 1️⃣ 개념적으로 구분해보면LangChain의 ChatOpenAI 클래스는 단순히 **“OpenAI API 호환 인터페이스를 사용하는 LLM Wrapper”**입니다.즉,LangChain → ChatOpenAI → OpenAI SDK → /v1/chat/completions 형태의 endpoint를 호출하는 구조예요.이 구조는 이렇게 되어 있습니..

🧭 1️⃣ LangChain과 LangGraph의 “역할 범위”구분 핵심 목적 주요 기능 비유LangChain프롬프트 + 도구 + 체인 관리PromptTemplate, LLMChain, Tool, Memory, Agent“AI 앱의 SDK”LangGraph노드 기반 워크플로우 & 상태 제어Node(노드), Edge(연결), 상태(State) 관리, 재시작/중단 가능“AI 오케스트레이터”LangChain은 “LLM 호출과 조합 로직을 쉽게 짜는 프레임워크”LangGraph는 “LLM이 포함된 상태기계(State Machine)”즉,LangChain이 **함수형(Linear)**이라면LangGraph는 **그래프형(Branching & Reactive)**이에요.⚙️ 2️⃣ 구현 가능한 범위 — “웬만한 ..

LoRA 논문 (“Low-Rank Adaptation of Large Language Models”, Hu et al. 2021) 정리https://arxiv.org/pdf/2106.09685배경 & 문제의식거대한 언어 모델을 사전학습(pretrained)한 후 여러 다운스트림(task)으로 적응(adaptation)시키는 것이 NLP의 주요 패러다임이다.하지만 모델이 커질수록 모든 파라미터를 업데이트하는 “full fine-tuning”은 저장 비용, 메모리 비용, 배포 비용 면에서 비현실적이 된다. (예: GPT-3 175B 모델)따라서, 파라미터 효율적인 적응(parameter-efficient adaptation) 방식이 필요하다.기존 접근법으로는어댑터(adapter) 층 삽입프롬프트 조정(pro..

🔹 1️⃣ SLM / SLLM의 기준 이해하기먼저 용어를 정리해볼게요.구분 파라미터 수 대표 모델 주 사용 목적Tiny / Mini LM~100M–500MDistilBERT, MiniLM문서 분류, 간단한 QASmall LM (SLM)~1B–3BPhi-3 Mini (3.8B), Mistral-3B사내용 챗봇, 경량 LLMSmall Large LM (SLLM)~7B–13BLLaMA-3-8B, Mistral-7B, Gemma-7BRAG 기반 사내 챗봇, 도메인 QAMedium–Large LM30B–70BLLaMA-3-70B, MPT-30B고성능 연구용 / SaaS 수준Foundation LLM100B 이상GPT-4, Claude, Gemini범용 AI 모델 (기업 규모)🔹 2️⃣ 파인튜닝과 RAG의 차이..

🧠 1️⃣ CPU vs GPU — 개념의 진짜 차이구분 CPU GPU구조소수의 강력한 코어 (보통 4~16개)수천 개의 작은 코어특징순차적 연산에 강함 (논리, 조건문, 제어문 등)대량의 수학 연산(행렬·벡터)에 특화용도일반 프로그램 실행, OS 동작, 브라우저 등영상처리, AI 학습·추론, 3D 렌더링 등예시Excel 계산, 웹 브라우징, 게임 실행Stable Diffusion, PyTorch 모델, CUDA 연산요약:CPU는 “두뇌” (똑똑하지만 손이 적음)GPU는 “팔 수천 개 달린 계산기” (단순하지만 동시에 많이 함)⚙️ 2️⃣ 내 컴퓨터에서 GPU가 실제로 사용되고 있는지 확인하는 법✅ (1) 윈도우에서작업 관리자 → 성능 탭 → GPU 를 보면 GPU 사용량이 보입니다.NVIDIA GPU를..

1) 로컬/사내 서빙 방식의 스펙트럼Ollama 계열장점: 설치·모델 다운로드·서빙까지 원스톱, REST/GRPC, 프롬프트 캐시.용도: 팀 내부 PoC, 사내 툴, 경량 프로덕션(단일 노드).경량 러너(gguf/CPU·경량 GPU)예: llama.cpp(Metal/CPU/GPU), KoboldCpp, MLC-LLM(브라우저·모바일·Apple Silicon).장점: 하드웨어 제약 낮음, 배포 간편(엣지/온디바이스).용도: 온디바이스, 경량 챗봇, 오프라인 환경.범용 딥러닝 프레임워크 직접 구현(파이토치·트랜스포머스 직접 로딩)장점: 가장 유연(커스텀 토크나이저, 로직, 미세튜닝).단점: 서빙 성능·메모리 최적화와 스케일링은 직접 해결해야 함.용도: 연구·커스텀 모델 실험, 특수 토큰화/헤드 추가.전용 L..

🔧 LLM 서빙이란?학습이 완료된 LLM을 서비스 형태로 배포하여 사용자나 시스템이 실시간으로 쿼리를 보내고 응답을 받도록 만드는 것. 주요 서빙 엔진:HuggingFace Transformers + FastAPIvLLM (속도 최적화됨)방식 설명 예시On-demand 서빙요청 올 때마다 추론ChatGPT, API 서비스Batch 서빙요청을 모아서 한 번에 처리효율적 자원 사용Streaming 서빙응답을 토큰 단위로 스트리밍실시간 UI 경험 개선RAG (Retrieval-Augmented Generation)검색 + 생성 결합사내 문서 요약, FAQ 챗봇 등