3장 허깅스페이스 트랜스포머 충돌..

[jisong14]

안녕하세요

좋은 책 만들어 주셔서 감사합니다.

다름이 아니라 25.9월 기준으로 파이토치의 트랜스포머가 어딘가와 충돌이나는지 토크나이저 자체가 인스톨 오류가 발생합니다.

AutoTokenizer, AutoModel 불러오는 예제부터 오류가 발생하고 있어 글을 남깁니다.

확인되시면 방법 알려주세요 감사합니다.

아래는 Gemini가 제안한 답변입니다.

공유해주신 traceback을 보니 처음 오류가 발생했던 것과 동일한 오류(ImportError: cannot import name 'is_mistral_common_available' from 'transformers.utils.import_utils')가 계속 발생하고 있습니다. 이는 transformers 라이브러리 내부에서 transformers.models.auto.tokenization_auto를 임포트하려 할 때 필요한 is_mistral_common_available 함수를 찾지 못해 발생하는 문제입니다.

이 오류는 설치된 transformers 버전(4.50.0)이 현재 Colab 환경이나 다른 기본 라이브러리와 제대로 호환되지 않아 발생하는 것으로 보입니다. PyTorch 버전 조정 및 재설치를 시도했지만 이 특정 임포트 오류는 해결되지 않았습니다.

이 오류는 transformers 라이브러리 내부의 문제이기 때문에 제가 직접 코드를 수정하여 해결하기는 어렵습니다. 이 특정 오류가 지속되는 상황에서 시도해 볼 수 있는 몇 가지 방법이 있습니다.

다른 모델 시도: bert-base-uncased나 gpt2 모델 대신 다른 모델을 사용해 보는 것이 오류를 우회할 수 있습니다. 다른 모델은 transformers 라이브러리의 다른 부분을 사용하며 이 특정 임포트 오류를 유발하지 않을 수 있습니다.
Hugging Face 커뮤니티 도움 요청: 이 오류 메시지 자체를 가지고 Hugging Face 포럼이나 Issue tracker에 문의하여 도움을 받을 수 있습니다. 이 특정 버전과 환경에서의 알려진 문제일 수 있습니다.
다른 라이브러리 고려: 만약 가능하다면, Hugging Face transformers 외에 다른 텍스트 처리 라이브러리를 사용하는 것을 고려해 볼 수 있습니다.
이 오류는 라이브러리 내부의 복잡한 호환성 문제와 관련이 있어 해결이 쉽지 않습니다. 다른 모델을 시도해 보시거나, Hugging Face 커뮤니티에 문의해 보시는 것을 추천합니다.

[IceChickenTender]

안녕하세요 저는 저자는 아닙니다만 저도 글 작성자분과 비슷한 상황을 겪어서 제가 겪었던 것과 해결 방법을 알려드리면 도움이 될까 해서 댓글 답니다.

제가 겪었던 상황은 다음과 같습니다.

1. 책에는 코드 실행 전 "!pip install trainformers==4.40.1 datasets==2.19.0 huggingface_hub==0.23.0 -qqq" 라이브러리를 인스톨 받으라고 함
2. 예제 진행 중 "예제 3.21" 에 import 문에서 에러가 발생
   import torch
   import numpy as np
   from transformers import (
   Trainer,
   TrainingArguments,
   AutoModelForSequenceClassification,
   AutoTokenizer
   )
3. 발생 에러는 다음과 같음
   ImportError: cannot import name 'LocalEntryNotFoundError' from 'huggingface_hub.errors' (/usr/local/lib/python3.12/dist-packages/huggingface_hub/errors.py) ... 이후 너무 길어 생략

해결 방법

우선 에러의 내용은 인스톨 받은 라이브러리에서는 임포트 하기 위한 것들이 없다는 에러 같습니다.

1. 일단 책에서 알려준 라이브러리 버전은 아닌 것 같아서 여러 버전들을 직접 찾기 위해 인스톨을 진행함
2. 위 방법은 무모하다고 판단해서 책에 소개되어 있는 github 를 와서 업로드된 코드를 봄
3. 업로드된 ipynb 파일에서는 "!pip install transformers==4.50.0 datasets==3.5.0 huggingface_hub==0.29.0 -qqq" 로 되어 있었고, 이 버전으로 인스톨 후 문제 해결됨

P.S
인스톨 시 발생하는 아래 오류는 라이브러리 설치 시 특정 기능을 사용하기 위해선 더 높은 버전 혹은 낮은 버전을 사용해야 한다고 하는 것 같습니다. 하지만 3장의 예제들에서는 사용하지 않는 라이브러리들이라 무시하셔도 됩니다.

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
gradio 5.49.1 requires huggingface-hub<2.0,>=0.33.5, but you have huggingface-hub 0.29.0 which is incompatible.
diffusers 0.35.2 requires huggingface-hub>=0.34.0, but you have huggingface-hub 0.29.0 which is incompatible.

마지막으로 작성자분에게 부탁드리고 싶은 것이 있는데, 그냥 뭐가 안돼요라고 하면 저자분도 그렇고 다른 분들도 도움을 드리고 싶지만 원인 파악이 힘듭니다. 예를 들면 병원가서 그냥 손가락이 아파요 하면 의사분들이 정확한 진료를 하기 힘든 것 처럼 손가락이 아픈데 무엇을 하다가 아프게 됐는지 언제부터 아팠는지 이런 주변 정보들이 필요합니다.

그러니 작성자분이 막힌 코드가 무엇인지, 어디서부터 어디까지 진행하다가 막혔는지, 발생한 오류는 무엇인지를 알려주셔야 저자분도 답변을 빠르게 해주실 것 같다는 생각이 듭니다.