본문 바로가기
-------------코딩-------------/Python 기초 코딩

AttributeError: module transformers.models.big_bird has no attribute BigBirdTokenizer

by 탶선 2021. 6. 28.
반응형
import torch

!pip install transformers==3.3.0
from transformers import BertTokenizer
from transformers import BertForSequenceClassification, AdamW, BertConfig
from transformers import get_linear_schedule_with_warmup
# !pip install transformers[torch]
# !pip install transformers[tf-cpu]
# !pip install transformers[flax]

!pip install sentencepiece 

# from transformers import BertTokenizer
# from transformers import BertForSequenceClassification, AdamW, BertConfig
# from transformers import get_linear_schedule_with_warmup
from transformers import *
  • from transformers import* 에서 아래와 같은 문제가 발생...
    • AttributeError: module transformers.models.big_bird has no attribute BigBirdTokenizer

 

  • 원인과 해결방법으로 검색해보니 버전을 확인해서 업그레이드 하라는 말뿐 해결책을 찾을 수 없었다.
  • 우선 버전을 맞추기 삭제후 다시 설치를 반복해도 같은 문제점이 나타났으며, 아래 사이트에서 설치 방법을 찾아보아도 해결되지 않았다.
  • https://huggingface.co/transformers/installation.html
 

Installation

🤗 Transformers is tested on Python 3.6+, and PyTorch 1.1.0+ or TensorFlow 2.0+. You should install 🤗 Transformers in a virtual environment. If you ’ re unfam...

huggingface.co

  • 정확한 원인은 모르겠으나 transformers모듈을 여러번 import한게 문제점인듯
    import torch
    
    !pip install transformers
    
    # !pip install transformers[torch]
    # !pip install transformers[tf-cpu]
    # !pip install transformers[flax]
    
    !pip install sentencepiece 
    
    # from transformers import BertTokenizer
    # from transformers import BertForSequenceClassification, AdamW, BertConfig
    # from transformers import get_linear_schedule_with_warmup
    from transformers import *​
    위와 다르게 transformers 모듈을 한번만 import했을 경우 문제가 해결되었다

 

반응형

댓글