반응형 전체 글210 데이터 중복 제거 duplicated() duplicated() - 각 로우의 중복여부 boolean Series 반환 data.duplicated() # 예시 # False # False # False # True # dtype: bool 2020. 5. 25. NA(Not Available) 처리 메서드 dropna - 누락된 데이터가 있는 축 제외, 어느 정도의 누락 데이터까지 용인할 것인지 지정 가능 data.dropna() fillna - 누락된 데이터를 대신할 값을 채우거나 'ffill' , 'bfill'같은 보간 메서드 적용 data.fillna() 누락된 값을 제외시 다른 데이터도 함꼐 버려질 가능성이 있기 때문에 구멍을 메우고 싶은 경우 사용 fillna 함수 인자 value - 비어 있는 값을 채울 스칼라값이나 사전 형식의 객체 method - 보간 방식. 기본적으로 ffill 사용 axis - 값을 채워 넣을 축, 기본값은 axis=0 inplace - 복사본을 생성하지 않고 호출한 객체 변경, 기본값은 False limit - 값을 앞 혹은 뒤에서부터 몇 개까지 채울지 지정 isnull.. 2020. 5. 25. [논문 리뷰] OpinionFinder: A system for subjectivity analysis 감정분석을 하기위해 논문을 읽어보던중 OpinionFinder라는 시스템이 계속 거론되어 찾아보게 된 논문이었다. 간단하게 두장으로 끝나는 논문으로 그냥 이런역할을 하는구나 정도로만 가볍게 읽은 논문이었다. 저널 : Proceedings of HLT/EMNLP 2005 Interactive Demonstrations 저자 : TheresaWilson, Paul Hoffmann(펜실베니아 피츠버그 대학교, 지능시스템 프로그램) article history : October 2005 1. Introduction OpinionFinder는 주관성 분석을 수행하여 의견, 감정, 추측 등의 개인 상태를 자동으로 식별하여 텍스트로 표시하는 시스템이다. 주관적인 문장을 식별하고 주관성의 출처(보유자)와 긍정/부정적 .. 2020. 5. 23. pandas.read_csv 한글 깨짐 pd.read_csv('파일명','\t') 으로 csv파일을 열때 파일이 열리지 않는 문제 engine='python'추가로 해결했지만, 한글이 깨짐 pd.read_csv('파일명',sep='\t',engine='python',encoding='CP949') encoding='CP949' 추가로 해결 2020. 5. 13. dell r-510 linux 설치(하드 인식불가 문제 해결) dell 서버에 리눅스 설치중 하드가 인식되지 않아 하드 인식이 안되는 문제 해결을 위해 부팅시 ctrl + r을 눌러 Configuration Utility에 들어간다 VD MGmt에서 f2 눌러 forein clear f2 눌러 Virtual Disks 삭제 Disk ID 부분 체크 Advanced Settings 체크 Initialize 체크 하여 OK 한 후 부팅 raid 설정, 생성하여 하드 인식 성공 2020. 5. 12. 4장 확률과 확률분포 추측통계학 - 표본에 내포되어 있는 정보를 이용하여 모집단에 대한 과학적인 추론을 하는 학문 ex) 표본평균으로 모평균에 대한 추론 표본표준편차로써 모표준편차에 대한 추론 확률은 역사적으로 도박으로부터 유래되었다. 확률(probability) - 똑같은 실험을 무수히 많이 반복할 때 어떤 일이 일어나는 비율, 즉 상대도수의 극한적인 개념 표본공간(sample space) - 통계적 실험에서 모든 가능한 실험결과들의 집합 사건(event) - 관심있는 실험결과들의 집합 확률의 고전적 정의 표본공간의 모든 원소가 일어날 가능성이 다 같은 경우에 사상 A의 확률 $ {사상 A에 속하는 원소의 개수 \over 표본공간의 전체 원소의 개수} $ 사상 A가 일어날 확률은 P(A)라고 표기 조합 서로 다른 n개 중 .. 2020. 5. 6. [논문 리뷰] Stock Market Trend Prediction with Sentiment Analysis based on LSTM Neural Network 본 논문에서는 시장 예측을 하기 위해 feature선택에 대해 다룬 논문이며 경제 뉴스의 감정 분석을 위해 LSTM을 사용한다. Introduction LSTM과 같은 딥러닝 기술들이 금융분야에서 효과적이며 이는 증명되었다. 이에따라 LSTM신경망에 기반한 주식 시장 예측의 영향요인 분석을 목표로 시장예측에 딥러닝 방법을 사용 feature selection, 경제 뉴스의 감정분석, 신경망 구조에 중점을 둔 논문 background 주식시장 예측은 산업계 학계 등 많은 분야에서 관심을 가지는 기술 신경망, 유전자 알고리즘, svm 등의 알고리즘으로 주가 예측 사용 정확도 향상의 문제점 데이터 noise 데이터 중복성 데이터 노이즈 overfitting 시장 감정 주식시장은 확률론적 분야 - 다양한 측면이.. 2020. 5. 5. 이전 1 ··· 18 19 20 21 22 23 24 ··· 30 다음 반응형
