자연어처리 관련 오픈소스 정리




자연어처리 관련 오픈소스 정리 



1.  koNLPy (한국어, python)

 :  한국어 정보 처리를 위한 파이썬 패키지

말뭉치, 사전과 한국어 형태소들을 제공하고 있다. 


홈페이지 바로가기 


github 바로가기 





데이터(말뭉치) - 한국법률 말뭉치, 대한민국 국회 의안 말뭉치 

사전 - Hannanum 시스템 사전, Kkma 시스템 사전, Mecab 시스템 사전 


형태소 분석기도 다양한 클래스를 제공하고 있는데  

형태소 분석기 사용 비교도 참고할 만하다. 

비교 자료로는 로딩/실행 시간과 몇 개의 사용 예제가 제공되고 있다. 

(형태소 태깅 정확도 정보가 없는 것은 아쉽다(...)) 


http://konlpy-ko.readthedocs.io/ko/v0.4.3/morph/#comparison-between-pos-tagging-classes





2. NLTK  (자연어처리 패키지, 주로 영어 지원) 


자연어 처리에 관한 방대한 리소스, 코드 들을 구할 수 있다. 

영어 컨텐츠를 사용한다면 꼭 사용해봐야 할 패키지이다. 


github 바로가기





3. twitter tokenizer  (한국어 tokenizer) 


https://github.com/twitter/twitter-korean-text



4. gensim (word2vec, doc2vec) 


python 3 porting of gensim library : https://github.com/samantp/gensimPy3



5. word2vec-api (영어) 

: Simple web service providing a word embedding API



github 바로가기





https://github.com/keonkim/awesome-nlp


6. doc2vec (영어) 


https://github.com/jhlau/doc2vec



7. word2vec, doc2vec (한글)



한국어 word2vec, doc2vec 기훈련된 모델 및 데모 사이트 운영



github 바로가기





저작자 표시
신고