텍스트 마이닝과 자연어 처리 기초를 학습하며 정리한 Jupyter Notebook 저장소입니다.
교육 과정에서 진행한 실습 코드를 기반으로, 텍스트 데이터 전처리, 감성 분석, 추천 기능, 유사도 분석 등 텍스트 데이터를 활용한 기본 분석 흐름을 학습했습니다.
텍스트 데이터를 다루기 위한 기본 개념과 실습 과정을 정리한 학습 기록입니다.
- 텍스트 데이터 전처리와 분석 흐름 이해
- 문서와 문장 데이터를 벡터화하여 모델 입력 형태로 변환하는 과정 실습
- 상품 리뷰 데이터를 활용한 감성 분석 경험
- 텍스트 기반 추천 기능과 유사도 분석 흐름 학습
- Jupyter Notebook 기반 실습 코드 정리
| 구분 | 사용 기술 |
|---|---|
| Language | Python |
| Environment | Jupyter Notebook |
| Data Processing | pandas, NumPy |
| Text Mining / NLP | KoNLPy, TF-IDF |
| Machine Learning | scikit-learn |
텍스트 데이터를 분석하기 위한 기본 흐름을 학습했습니다.
- 텍스트 데이터 불러오기
- 기초적인 텍스트 전처리
- 단어 단위 처리
- 문서-단어 표현 방식 이해
- 텍스트 데이터를 분석 가능한 형태로 변환하는 과정 실습
상품 리뷰 데이터를 활용해 긍정/부정 감성 분석 흐름을 실습했습니다.
- 리뷰 데이터 전처리
- 텍스트 벡터화
- 감성 분류 모델 학습
- 예측 결과 확인 및 평가
텍스트 정보와 유사도 개념을 활용해 추천 기능의 기본 흐름을 실습했습니다.
- 추천 대상 데이터 구성
- 텍스트 특징 추출
- 항목 간 유사도 계산
- 유사도 기반 추천 결과 확인
문서 또는 항목 간 유사도를 계산하고 비교하는 과정을 학습했습니다.
- 벡터화된 텍스트 데이터 비교
- 코사인 유사도 기반 유사 문서 탐색
- 유사도 점수를 활용한 정렬 및 결과 확인
TextMining/
├── README.md
├── ex01_텍스트_마이닝_기초.ipynb
├── ex02_상품_리뷰_데이터_감성_분석.ipynb
├── ex03_음악_추천_기능_구현.ipynb
└── ex04_유사도_분석.ipynb
| 파일명 | 내용 |
|---|---|
ex01_텍스트_마이닝_기초.ipynb |
텍스트 마이닝 기본 개념과 전처리 흐름 실습 |
ex02_상품_리뷰_데이터_감성_분석.ipynb |
상품 리뷰 데이터를 활용한 감성 분석 실습 |
ex03_음악_추천_기능_구현.ipynb |
텍스트 정보와 유사도를 활용한 음악 추천 기능 실습 |
ex04_유사도_분석.ipynb |
벡터화된 텍스트 데이터를 활용한 유사도 분석 실습 |
이 저장소를 통해 텍스트 데이터를 수집·정리하고, 벡터화와 유사도 계산을 거쳐 분석 및 추천 기능에 활용하는 기본 흐름을 학습했습니다.
이후 채용공고 기술스택 분석, 의약품 설명서 문장 분류, 발화 텍스트 분석 프로젝트를 진행할 때 텍스트 데이터 전처리와 분석 흐름을 이해하는 기반이 되었습니다.