프로그래밍
-
Azure AI Studio 사용후기 - openai + embedding search프로그래밍 2024. 3. 14. 11:58
Azure AI studio를 사용해서 openai(chatgpt)와 embedding 검색을 동시에 구현해보았다. AI studio를 사용한 것은 처음이였는데 그냥 간단하게 문서들을 업로드하면 바로 유사어 검색까지 가능한 벡터 서치까지 바로 구현을 할 수 있다는 것이 너무 놀라웠다. 심지어 몇 분 이내로 가능함... 내가 왜 MS주식을 일찍 팔았을까 ; - ; 우선 하나씩 해보자면 AI 프로젝트를 생성하면 아래와 같이 프로젝트 플레이그라운드에 들어갈 수 있다. openai 플레이그라운드와 비슷하다ㅎㅎ 여기서 데이터추가를 하면 gpt에서 백그라운드 지식으로 사용할 수 있는 데이터를 파일 형태로 바로 업로드 할 수있다. 심지어.. 이 파일들을 임베딩화 해서 벡터 서치로 바로 사용이 가능하다...! 참고로 ..
-
aws opensearch - python으로 접속하기프로그래밍 2024. 3. 7. 17:47
AWS OpenSearch Service에 접속하기 위해 Python에서 사용할 수 있는 주요 SDK는 opensearch-py입니다. 이는 Elasticsearch의 공식 Python 클라이언트를 OpenSearch와 함께 사용할 수 있도록 확장한 것입니다. AWS의 인증 메커니즘과 통합하기 위해서는 추가적인 단계가 필요합니다. 여기서는 opensearch-py 패키지를 사용하여 AWS OpenSearch Service에 안전하게 접속하는 방법을 안내합니다. boto3는 AWS 서비스와 상호작용하기 위한 AWS의 공식 Python SDK입니다. boto3를 사용하면 AWS의 다양한 서비스(예: S3, DynamoDB, EC2, OpenSearch Service 등)를 쉽게 프로그래밍 방식으로 관리하고 ..
-
임베딩 검색을 사용하여 질문 답변하기 (유사어 검색 구현)프로그래밍/기계학습 2024. 2. 29. 12:17
임베딩 기반 검색을 사용하여 질문 답변하기 ( Question answering using embeddings-based search ) 출처 : openai-cookbook 예제코드 한국어 번역입니다. GPT는 훈련 데이터에서 기억하는 주제에 대한 질문에 답하는 데 뛰어납니다. 그러나 GPT에게 익숙하지 않은 주제에 대한 질문에 답하려면 어떻게 해야 할까요? 예를 들어, - 2021년 9월 이후의 최근 사건 - 비공개 문서 - 과거 대화에서의 정보 등등. 1. 검색: 텍스트 라이브러리에서 관련 텍스트 섹션을 검색합니다. 2. 질문: 검색된 텍스트 섹션을 GPT에게 메시지로 삽입하고 질문을 합니다. 왜 검색이 파인튜닝보다 낫나요 GPT는 두 가지 방법으로 지식을 학습할 수 있습니다: - 모델 가중치를 통..