프로그래밍/자연어처리
-
pytorch 설치하기프로그래밍/자연어처리 2024. 9. 19. 17:39
flair모델을 튜닝하면서 gpu를 지원하는 pytorch를 설치하고 과정을 기록해둔다. https://pytorch.kr/get-started/locally/ 파이토치 한국 사용자 모임 (PyTorch Korea User Group)파이토치 한국 사용자 모임에 오신 것을 환영합니다. 딥러닝 프레임워크인 파이토치(PyTorch)를 사용하는 한국어 사용자들을 위해 문서를 번역하고 정보를 공유하고 있습니다.pytorch.kr 위 링크에서 원하는 빌드 환경을 선택하면 pytorch 설치 명령어가 나온다. 데스크탑에 cuda 12.6 버전이 설치되어 있어서 12.4로 선택하였다. 설치이후 제대로 설치되었나 확인을 해본다. import torchprint(torch.__version__)print(tor..
-
flair 모델로 fine-tuning하기프로그래밍/자연어처리 2024. 9. 5. 18:21
flair ner 모델을 사용하다보니 분류 모델로도 사용이 가능하다고 해서 확인해보았다. flair 모델 훈련 샘플 코드 아래가 훈련 샘플 코드인데 간단해 보인다. from flair.data import Corpusfrom flair.datasets import TREC_6from flair.embeddings import TransformerDocumentEmbeddingsfrom flair.models import TextClassifierfrom flair.trainers import ModelTrainer# 1. get the corpuscorpus: Corpus = TREC_6()# 2. what label do we want to predict?label_type = 'question..
-
한국어 ner 시작하기 - pytorch-bert-crf-ner 사용후기프로그래밍/자연어처리 2024. 8. 26. 17:07
flair는 사용 태그 개수가 적어서 한국어 특화된 개체명인식기를 찾다 발견했습니다. https://github.com/eagle705/pytorch-bert-crf-ner.git GitHub - eagle705/pytorch-bert-crf-ner: KoBERT와 CRF로 만든 한국어 개체명인식기 (BERT+CRF based Named Entity RecognKoBERT와 CRF로 만든 한국어 개체명인식기 (BERT+CRF based Named Entity Recognition model for Korean) - eagle705/pytorch-bert-crf-nergithub.com 우성 저장소를 클론하고.. git clone https://github.com/eagle705/pytorch-be..