GC overhead limit exceedeed(에러)

• 특정 키워드(지소미아) 관련 트위터를 크롤링하여
• 감정분석을 위해 명사 추출(konlpy의 okt.nouns) 중 발생한 에러

Dataframe(554749 rows × 2 columns)

 

• CPU사용량중 98% 이상 GC가 작동되는경우 GC overhead limit exceeded에러가 발생한다.
  • GC(Garbage-Collection) - 메모리 관리 기법
    • (프로그램이 동적으로 할당했던 메모리 영역 중 필요없는 영역 해제 하는 기능) *위키백과
    • 장점 
      • 유효하지 않은 포인터 접근, 이중 해제, 메모리 누수
    • 단점
      • 메모리 해제시 비용 발생(오버헤드 발생)
      • garbage-collect 타이밍, 점유 시간 예측 불가
      • 할당 메모리 해제 시점 알 수 없음
• 해결방법
  • -XX:-UseGCOverheadLimit
  • 라는 해결방법을 찾았지만 java에서 사용되는 듯 하다.... 아시는분은 댓글로좀...알려주세요...
• 결국 Dataframe을 반 나누어 반씩 진행
  • (277374 rows x 2 columns) x 2

• 파이썬에서는 객체를 직접 제거하는 메커니즘이 없다.