you've got to find what you love. you've got to find what you love.

최근에 진행하는 프로젝트에서 다양한 태그(사람, 회사, 조직 등)를 지원하면서 성능이 좋은 한국어 NER 모델이 필요해졌습니다.  최근에 나온 NER 모델 위주로 사용방법과 성능 관련 내용을 정리해보겠습니다.    Flair 소개    Flair는 자연어 처리(NLP) 작업을 간단하고 직관적으로 수행할 수 있도록 하는 Python 기반의 라이브러리입니다. 문장 임베딩(sentence embeddings), 이름된 엔티티 인식(NER), 텍스트 분류(text classification), 품사 태깅(POS tagging) 등의 작업을 지원합니다. 성능이 괜찮고 사용이 간단하다고 해서 사용해봤습니다.   https://github.com/flairNLP/flair GitHub - flairNLP/flair:..

윈도우에서 pgvector 사용하기  윈도우에서 pgvector를 설치하고 사용하는 과정을 기록해보겠습니다.     https://github.com/pgvector/pgvector?tab=readme-ov-file GitHub - pgvector/pgvector: Open-source vector similarity search for PostgresOpen-source vector similarity search for Postgres. Contribute to pgvector/pgvector development by creating an account on GitHub.github.com   https://learn.microsoft.com/en-us/cpp/build/building-on-the..

azure openai + postgreSQL를 사용해서 벡터검색 사용하기   azure openai에서 제공하는 임베딩 모델은 다음과 같습니다.   azure openai 임베딩 모델  참고: https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/models#model-summary-table-and-region-availability  임베딩 모델별 성능 비교   text-embedding-3-small은 효율성이 매우 높은 최신 임베딩 모델로, 2022년 12월에 출시된 text-embedding-ada-002 모델에 비해 크게 개선되었습니다.  성능 향상text-embedding-ada-002와 text-embedding-3-sm..