8장 첫 라인 - ERROR: Failed to build 'xformers' when getting requirements to build wheel

[mrdantzig]

안녕하세요?
8장 첫 라인 라이브러리 설치 스크립트를 실행하면, 아래와 같이 'xformers' 관련 에러가 납니다. 수정이 필요해 보입니다.
!pip install transformers==4.40.1 accelerate==0.30.0 bitsandbytes==0.43.1 datasets==2.19.0 vllm==0.4.1 openai==1.25.1 -qqq

Installing build dependencies ... done
Getting requirements to build wheel ... done
Preparing metadata (pyproject.toml) ... done
Installing build dependencies ... done
Getting requirements to build wheel ... done
Preparing metadata (pyproject.toml) ... done
Installing build dependencies ... done
Getting requirements to build wheel ... error
ERROR: Failed to build 'xformers' when getting requirements to build wheel

[mrdantzig]

p258 라이브러리 설치 ~ p286 예제 8.5까지 상호의존성 문제로 에러가 많아서 아래와 같이 수정해서 실행했습니다.

---

🎓 [실습 통합본] LLM 추론 최적화 가이드 (2026년 업데이트)
작성자: 우병오 교수 (유한대학교)
본 가이드는 T4 GPU 환경에서 Yi-6B 모델을 활용하여, 엔진 최적화(vLLM)가 추론 성능에 미치는 영향을 비교 분석합니다.

---

🛠️ Step 1. 환경 구축
코랩의 최신 환경에서 안정적으로 구동되는 라이브러리 조합을 설치합니다.
[Python]

1. 패키지 충돌 방지를 위한 기존 라이브러리 제거

!pip uninstall -y vllm transformers accelerate bitsandbytes openai -q

2. T4 GPU 환경 최적화 버전 설치

!pip install -q vllm==0.6.1.post2 transformers==4.44.2 accelerate==0.34.2 bitsandbytes==0.44.1 openai==1.47.0

print("✅ 1단계 완료! [런타임] > [세션 다시 시작]을 반드시 클릭하세요!")

---

📊 Step 2. 예제 8.1. 실습 데이터셋 준비
(세션 재시작 후 가장 먼저 실행)
[Python]
import torch
from datasets import load_dataset

def make_prompt(ddl, question, query=''):
prompt = f"당신은 SQL을 생성하는 SQL 봇입니다. DDL의 테이블을 활용한 Question을 해결할 수 있는 SQL 쿼리를 생성하세요.\n### DDL:{ddl}\n### Question:{question}\n### SQL:{query}"
return prompt

dataset = load_dataset("shangrilar/ko_text2sql", "origin")['test'].to_pandas()
dataset['prompt'] = [make_prompt(r['context'], r['question']) for _, r in dataset.iterrows()]

print(f"✅ 데이터셋 준비 완료! (총 {len(dataset)}개 샘플)")

---

🐢 Step 3. Hugging Face 기반 추론 실습
예제 8.2. Hugging Face 모델 불러오기
가장 대중적인 라이브러리인 transformers를 사용하여 모델을 로드합니다. T4 GPU의 메모리 한계를 극복하기 위해 4bit 양자화(bitsandbytes) 기술을 적용합니다.
[Python]
import os
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

모델 ID 정의

model_id = "shangrilar/yi-ko-6b-text2sql"

4bit 양자화 설정을 포함하여 모델 로드 (VRAM 사용량 최적화)

model = AutoModelForCausalLM.from_pretrained(
model_id,
device_map="auto",
load_in_4bit=True,
bnb_4bit_compute_dtype=torch.float16
)

토크나이저 및 추론 파이프라인 생성

tokenizer = AutoTokenizer.from_pretrained(model_id)
hf_pipeline = pipeline("text-generation", model=model, tokenizer=tokenizer)

print("✅ 예제 8.2 성공: Hugging Face 모델 로드 완료")

---

예제 8.3. 배치 크기에 따른 추론 시간 확인
전통적인 방식인 Hugging Face 파이프라인에서 배치 사이즈(batch_size) 변화가 처리 속도에 미치는 영향을 측정합니다.
[Python]
import time

배치 크기 리스트 (교과서 구성과 동일)

for batch_size in [1, 2, 4, 8, 16, 32]:
start_time = time.time()

# 전체 데이터셋에 대해 추론 수행
hf_pipeline(
    dataset['prompt'].tolist(), 
    max_new_tokens=128, 
    batch_size=batch_size
)

# 교과서 원본 출력 형식 유지
print(f'{batch_size}: {time.time() - start_time}')

print("✅ 예제 8.3 성공: 모든 배치 사이즈 측정 완료")

---

🧹 Step 4. VRAM 청소 (필수)
주의: 모델을 메모리에서 비우지 않으면 Step 5에서 OOM 에러가 발생합니다.
[Python]
import gc
import torch
try: del hf_pipeline, model, tokenizer
except: pass
gc.collect()
torch.cuda.empty_cache()
print("✅ VRAM 청소 완료!")

---

🚀 Step 5. vLLM 엔진 최적화 및 최종 측정
T4 GPU 메모리 제약(15GB)을 해결하기 위해 튜닝된 파라미터를 적용합니다.
예제 8.4. vLLM 로드
[Python]
import torch
from vllm import LLM, SamplingParams

model_id = "shangrilar/yi-ko-6b-text2sql"

T4 GPU 최적화: 문장 길이를 200으로 제한하여 KV 캐시 공간 확보

llm = LLM(
model=model_id,
dtype=torch.float16,
max_model_len=200,
gpu_memory_utilization=0.95,
enforce_eager=True
)
예제 8.5. 최종 결과 요약 스크립트
[Python]
import time
import logging
logging.getLogger("vllm").setLevel(logging.ERROR) # 로그 최소화

results = []
for seqs in [1, 2, 4, 8, 16, 32]:
start = time.time()
llm.llm_engine.scheduler_config.max_num_seqs = seqs
sampling_params = SamplingParams(temperature=0, max_tokens=128)

# 추론 실행
llm.generate(dataset['prompt'].tolist(), sampling_params, use_tqdm=False)

elapsed = time.time() - start
results.append((seqs, elapsed))
print(f"배치 {seqs} 완료")

📊 최종 요약 출력

print("\n" + "="*40)
print(f"{'배치 크기':<10} | {'추론 시간(초)':<15}")
print("-" * 40)
for b, d in results:
print(f"{b:<10} : {d:.4f}")
print("="*40)

[shangrilar]

안녕하세요.

혹시 설치 명령을 아래와 같이 수정해서 실행해보시고 문제가 해결되는지 확인 부탁드립니다.

출간 이후 라이브러리들의 버전이 많이 변하고, 구글 코랩도 버전이 변해 의존성 문제가 생기고 있는데 양해 부탁드립니다.

!uv pip install transformers==4.51.3 accelerate==1.6.0 bitsandbytes==0.45.5 datasets==3.5.0 vllm==0.8.5.post1 openai==1.75.0 -qqq

[mrdantzig]

감사합니다. 제공해 주신 새 설치 명령은 잘 수행되는 것 같습니다. 이후에 8장 뿐만아니라 6장 등 연습문제 여러 곳에서 의존성 문제로 에러가 많이 생기더군요.
말씀하신 대로 출간 이후 환경이 많이 바뀌면서 호환성 등이 꼬인 것으로 판단됩니다. 훌륭한 교재로 공부하고 있는 학생들이 에러를 처리해 가면서 실습을 하기에 한계가 있으니 바쁘시더라도 점검해 주시면 고맙겠습니다. 수고하세요.