🎓 DisplayLearn

OLED/Display 기술 학습을 위한 오프라인 학습 플랫폼

RAG 기반 LLM 앙상블을 활용한 전문 용어 학습 시스템으로, 4지선다형 퀴즈, 번역 학습, 오답 관리, 통계 추적 기능을 제공합니다.

📄 보고서

App Process

퀴즈 프로그램 APP

RAG 조건별 퀴즈(& 번역) 생성 수준 비교

✨ 주요 기능

📝 4지선다형 퀴즈

• Easy/Medium/Hard 난이도 선택
• 실시간 정답 확인 및 피드백
• 256개 OLED 전문 용어 기반

🌐 번역 학습

• 영어 ↔ 한국어 양방향 번역
• 주관식 답변 입력
• 힌트 제공 기능

📚 오답노트

• 틀린 문제 자동 저장
• 필터링 (유형, 난이도)
• 상세 보기 및 복습 기능
• 질문-답변-정답 비교

📊 점수판 & 통계

• 실시간 점수 추적
• 평균/최고 점수 표시
• 학습 히스토리
• 난이도별/유형별 통계

🤖 ML 학습 (미완성)

• 머신러닝 모델 학습 (향후 구현 예정)
• 데이터 분석 및 시각화

🚀 설치

요구사항

• Python 3.8 이상
• 5GB 이상의 디스크 공간 (모델 포함)

설치 방법

# 저장소 클론
git clone https://github.com/yourusername/DisplayLearn.git
cd DisplayLearn

# 의존성 설치
pip install -r requirements.txt

# (선택) PyQt6가 없다면
pip install PyQt6>=6.6.0

초기 설정

1. 번역 모델 다운로드 (자동)

LLM 번역 모델은 첫 실행 시 자동으로 다운로드되거나, 수동으로 다운로드할 수 있습니다:

# 번역 모델 수동 다운로드
python tools/download_models.py

모델은 models/cache/ 폴더에 저장되며, Git에는 포함되지 않습니다.

2. 데이터 파일 (Git에 포함됨)

다음 데이터 파일들은 Git 저장소에 포함되어 있어 별도 다운로드가 필요 없습니다:

• data/excel/ - Excel 용어 파일
• data/json/ - JSON 용어 파일
• data/quiz/ - 생성된 퀴즈 파일 (선택사항)
• data/translation/ - 생성된 번역 문제 파일 (선택사항)

참고: PDF 파일은 ablation 실험에서만 사용되며, 기본 시스템에서는 사용하지 않습니다.

3. RAG 벡터 DB 구축 (필수 - 1단계)

첫 실행 전에 RAG 벡터 DB를 구축해야 합니다. 기본 시스템은 Excel + JSON + 웹크롤러 조합을 사용합니다:

# 방법 1: 전용 스크립트 사용 (권장)
python tools/rebuild_rag_db_excel_json_web.py

# 방법 2: build_rag_db.py 사용
python tools/build_rag_db.py \
    --excel-file data/excel/display용어.xlsx \
    --json-file data/json/display.json \
    --web-only --max-pages 5

구축 과정:

1. Excel 파일에서 용어 추출 (data/excel/display용어.xlsx)
2. JSON 파일에서 용어 추출 (data/json/display.json)
3. 웹 크롤링으로 추가 용어 수집 (사이트당 최대 5페이지)

생성된 벡터 DB는 data/vector_db/에 저장되며, Git에는 포함되지 않습니다.

이미 구축되어 있는지 확인:

# 벡터 DB 존재 여부 확인
ls -la data/vector_db/

벡터 DB가 이미 존재하면 재구축 없이 바로 사용할 수 있습니다.

💻 실행

Streamlit 버전 (권장)

streamlit run app_streamlit.py

PyQt6 버전

python app/main.py

첫 실행 시:

1. 사용자 등록/로그인
2. 모델 자동 다운로드 (첫 실행 시에만)
3. 메인 화면 표시

🎮 사용 방법

단축키

탭 전환

• Ctrl+1: 퀴즈 탭
• Ctrl+2: 번역 탭
• Ctrl+3: 오답노트 탭
• Ctrl+4: 점수판 탭
• Ctrl+5: ML 학습 탭

일반

• Ctrl+L: 사용자 변경
• Ctrl+Q: 종료
• F1: 도움말

퀴즈

• 1-4 또는 A-D: 답 선택
• Enter: 제출

번역

• Ctrl+Enter: 제출

퀴즈 시작

1. 퀴즈 탭 선택
2. 난이도 및 문제 수 선택
3. 시작 버튼 클릭
4. 문제 풀기
5. 결과 확인 및 오답노트 자동 저장

오답 복습

1. 오답노트 탭 선택
2. 필터 적용 (선택)
3. 문제 더블클릭하여 상세 보기
4. 질문-답변-정답 비교

📁 프로젝트 구조

DisplayLearn/
├── app/                    # 애플리케이션
│   ├── main.py            # PyQt6 메인 실행 파일
│   ├── ui/                # UI 위젯
│   └── utils/             # 유틸리티 (사용자/점수/오답 관리)
├── app_streamlit.py       # Streamlit 메인 앱
├── core/                  # 핵심 로직
│   ├── quiz_engine.py    # 퀴즈 엔진
│   ├── quiz_generator.py # 퀴즈 생성
│   ├── translation_generator.py # 번역 문제 생성
│   └── rag/              # RAG 시스템
├── tools/                  # 도구 스크립트
│   ├── build_rag_db.py   # RAG DB 구축
│   ├── generate_all_quizzes.py # 퀴즈 일괄 생성
│   └── download_models.py # 모델 다운로드
├── ml/                    # ML 기능 (미완성)
├── models/                # 번역 모델
├── data/                  # 데이터
│   ├── excel/            # Excel 용어 파일
│   ├── json/             # JSON 용어 파일
│   ├── quiz/             # 퀴즈 데이터
│   ├── translation/      # 번역 데이터
│   ├── vector_db/        # RAG 벡터 DB (생성됨)
│   ├── users.json        # 사용자 정보
│   ├── scores.json       # 점수 기록
│   └── wrong_answers.json # 오답 기록
├── ablation/              # RAG ablation 실험
│   ├── RAG_COMPARISON_GUIDE.md
│   ├── compare_rag_scenarios.py
│   └── results/          # 실험 결과
├── resources/            # 리소스 (아이콘 등)
├── requirements.txt      # 의존성
├── setup.py             # 설치 스크립트
└── README.md            # 이 파일

🔧 개발

의존성

주요 패키지:

• streamlit (웹 앱)
• PyQt6 6.6.0+ (데스크톱 앱)
• transformers 4.35.0+
• torch 2.0.0+
• chromadb 0.4.0+
• sentence-transformers 2.2.0+

전체 목록은 requirements.txt 참조.

배포

수동 빌드

# PyInstaller 사용 (PyQt6 버전)
pip install pyinstaller
pyinstaller --onefile --windowed app/main.py

🔬 RAG Ablation 실험

다양한 RAG 데이터 소스 조합에 대한 실험 결과는 ablation/ 폴더에 있습니다.

실험 시나리오:

• Excel만, JSON만, 웹크롤러만
• Excel + JSON, PDF + 웹크롤러
• Excel + JSON + 웹크롤러 (기본 시스템)
• PDF 포함 조합 (ablation 실험 전용)

PDF 사용: PDF 파일은 ablation 실험에서만 사용되며, 기본 시스템에서는 사용하지 않습니다. PDF를 포함한 실험을 실행하려면:

# PDF 포함 RAG DB 구축 (ablation 실험용)
python tools/build_rag_db.py --pdf-only

# 또는 ablation 실험 스크립트 사용
python ablation/compare_rag_scenarios.py --scenario pdf_only

참고 자료:

• 가이드: ablation/RAG_COMPARISON_GUIDE.md
• 실험 스크립트: ablation/compare_rag_scenarios.py
• 결과: ablation/results/

자세한 내용은 ablation/README.md를 참조하세요.

🏗️ 시스템 구축 프로세스 (7단계)

DisplayLearn은 다음 7단계를 거쳐 구축되었습니다:

1단계: 데이터 수집 시스템 구축

• Excel 파서 개발 (Display 전문 용어 파일)
• JSON 파서 개발 (용어 데이터 파일)
• 웹 크롤러 개발 (전문 사이트 크롤링)
• 데이터 검증 및 정규화

실행 방법:

# Excel + JSON + 웹크롤러로 RAG DB 구축
python tools/rebuild_rag_db_excel_json_web.py

2단계: RAG 시스템 구축

• ChromaDB 기반 벡터 저장소 구축
• 임베딩 모델 초기화 (sentence-transformers)
• 용어 검색 및 컨텍스트 추출

3단계: LLM 앙상블 번역 시스템 구축

• 다중 번역 모델 통합 (NLLB, M2M-100, mBART)
• 합의 알고리즘 구현
• GPU/CPU 자동 전환

4단계: 퀴즈 생성 시스템 구축

• 4지선다형 퀴즈 생성기
• 번역 문제 생성기
• 난이도 자동 분류

5단계: 정답 체크 시스템 구축

• 퀴즈 엔진 구현
• 앙상블 번역 기반 답안 평가
• 유사도 기반 채점

6단계: 사용자 인터페이스 통합

• Streamlit 웹 인터페이스
• PyQt6 데스크톱 인터페이스
• 사용자 관리 및 통계 추적

7단계: 시스템 최적화 및 테스트

• 메모리 최적화
• 성능 튜닝
• 배포 준비

📊 데이터 및 퀴즈 생성

RAG DB 구축

기본 시스템은 Excel + JSON + 웹크롤러 조합을 사용합니다:

# Excel + JSON + 웹크롤러로 RAG DB 구축 (권장)
python tools/rebuild_rag_db_excel_json_web.py

# 또는 개별 옵션으로 구축
python tools/build_rag_db.py \
    --excel-file data/excel/display용어.xlsx \
    --json-file data/json/display.json \
    --web-only --max-pages 5

참고: PDF는 ablation 실험에서만 사용됩니다. 기본 시스템에서는 사용하지 않습니다.

퀴즈 데이터 생성

# 모든 퀴즈 자동 생성 (4지선다형 + 번역, 각 난이도별 50개)
python tools/generate_all_quizzes.py

# 개별 생성
python tools/generate_multiple_choice_quiz.py -n 50 -l ko --difficulty easy
python tools/generate_translation_quiz.py -n 50 --difficulty easy

모델 다운로드

# 번역 모델 수동 다운로드 (첫 실행 시 자동 다운로드되지만, 수동으로도 가능)
python tools/download_models.py

참고: 모델 파일은 models/cache/에 저장되며 Git에는 포함되지 않습니다. 각 사용자가 처음 실행 시 자동으로 다운로드됩니다.

📝 라이선스

MIT License

📧 문의

프로젝트 링크: DisplayLearn 이메일: 이메일

---