반응형
import torch
!pip install transformers==3.3.0
from transformers import BertTokenizer
from transformers import BertForSequenceClassification, AdamW, BertConfig
from transformers import get_linear_schedule_with_warmup
# !pip install transformers[torch]
# !pip install transformers[tf-cpu]
# !pip install transformers[flax]
!pip install sentencepiece
# from transformers import BertTokenizer
# from transformers import BertForSequenceClassification, AdamW, BertConfig
# from transformers import get_linear_schedule_with_warmup
from transformers import *
- from transformers import* 에서 아래와 같은 문제가 발생...
- AttributeError: module transformers.models.big_bird has no attribute BigBirdTokenizer
- 원인과 해결방법으로 검색해보니 버전을 확인해서 업그레이드 하라는 말뿐 해결책을 찾을 수 없었다.
- 우선 버전을 맞추기 삭제후 다시 설치를 반복해도 같은 문제점이 나타났으며, 아래 사이트에서 설치 방법을 찾아보아도 해결되지 않았다.
- https://huggingface.co/transformers/installation.html
- 정확한 원인은 모르겠으나 transformers모듈을 여러번 import한게 문제점인듯
위와 다르게 transformers 모듈을 한번만 import했을 경우 문제가 해결되었다import torch !pip install transformers # !pip install transformers[torch] # !pip install transformers[tf-cpu] # !pip install transformers[flax] !pip install sentencepiece # from transformers import BertTokenizer # from transformers import BertForSequenceClassification, AdamW, BertConfig # from transformers import get_linear_schedule_with_warmup from transformers import *
반응형
'-------------코딩------------- > Python 기초 코딩' 카테고리의 다른 글
시계열 데이터 정규화 (0) | 2021.09.07 |
---|---|
pyplot 시계열 데이터 그래프 그리기 (0) | 2021.09.06 |
list 중복 단어 체크하기(딕셔너리로) (0) | 2021.06.19 |
욕설 탐지 프로그램 (0) | 2021.05.28 |
숫자만 추출하기 (0) | 2021.03.09 |
댓글