프로그래밍/자연어처리
-
fasttext 사용하여 임베딩 하기프로그래밍/자연어처리 2022. 9. 24. 16:14
word embedding으로 word2vec을 주로 사용하다 fasttext가 괜찮다고 해서 사용해 보았다. word embedding은 비정형화된 text를 숫자로 바꿔주는 방법으로 텍스트를 기계 학습에 사용하기 위해서는 word embedding 과정을 거쳐야한다. word2vec은 희소한 단어를 임베딩 하기 어렵고 out-of-vocabulary(oov)를 처리하기 어렵다는 단점이 있었는데 fasttext는 단어 단위가 아니라 n-gram을 임베딩함으로써 각 단어는 embedding된 n-gram의 합으로 나타나서 빠르고 좋은 성능을 가진다고 한다. 그리고 oov 문제도 없다고 한다. fasttext 설치하기 리눅스(ubuntu) 기준으로 아래와 같이 설치를 하였다. root# git clone ..
-
conda: 명령을 찾을 수 없습니다프로그래밍/자연어처리 2022. 9. 11. 21:30
anaconda를 설치했는데 conda를 쳤을때 명령을 찾을 수 없다고 나오는 경우 anaconda 설치 폴더를 path에 추가하도록 bashrc를 변경해야한다. $ sudo vi ~/.bashrc export PATH=~/anaconda3/bin:~/anaconda3/condabin:$PATH 그리고 .bashrc를 하면 아래와 같이 conda 를 사용할 수 있다. $ source .bashrc $ conda -V conda 4.12.0 터미널을 실행할때마다 (base)로 나오는 anaconda 창이 자동으로 설정되는 기능을 끄려면 아래와 같이 설정을 한다. conda config --set auto_activate_base False 참고로 아나콘다 프롬프트 실행 방법은 아래와 같다 아나콘다 프롬프트..
-
cuda version 확인프로그래밍/자연어처리 2022. 9. 11. 20:32
cuda version은 nvcc --version 으로 확인이 가능하다 $nvcc --version nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2019 NVIDIA Corporation Built on Sun_Jul_28_19:07:16_PDT_2019 Cuda compilation tools, release 10.1, V10.1.243 만약 설치가 안되어 있다는 에러 메세지가 나오면 아래와 같이 설치 가능하다. $ sudo apt install nvidia-cuda-toolkit