하룹AI 플러그인 임베딩은, 기본적으로 Microsoft Azure GPT3.5를 기반으로 하나, 그 어떠한 생성형 AI보다 병원마케팅 관련된 부분에 있어 결과치가 압도적으로 우수합니다. 이에 따라 프롬프트 엔지니어링도 상당히 중요한 요소입니다. 또한 하룹 RDS 데이터베이스에 각 과목별 데이터베이스에 병원마케팅 관련 데이터로부터 임베딩 데이터를 통합하며, OpenAI모델에서는 Pinecorn 벡터데이터를 이용합니다. 또한 플러그인을 연결하는 방식은 Python을 통해 아래와 같이 연결이 가능하며, 자신의 각 모델별 호출 API없이 구성하면 나머지는 하룹AI가 알아서 처리할 수 있습니다.

Python

import haroop_ai_module as haroop
from azure.ai.textanalytics import TextAnalyticsClient
from haroop.vectorizer import PinecornVectorizer

# Haroop AI 임베딩 초기화
haroop.initialize_embedding_model('GPT-3.5', 'Azure')

# Azure Text Analytics 클라이언트 설정
text_analytics_client = TextAnalyticsClient(endpoint="your_endpoint", credential="your_credential")

# Pinecorn 벡터 데이터 처리
pinecorn_vectorizer = PinecornVectorizer()
vectorized_data = pinecorn_vectorizer.vectorize('hospital marketing data')

# RDS 데이터베이스에서 데이터 추출 및 임베딩
rds_data = haroop.get_data_from_rds('hospital marketing', 'haroop_rds')
combined_embedding = haroop.create_dynamic_embedding(rds_data, vectorized_data)

# 임베딩 결과를 이용한 문맥 분석
context_analysis_result = haroop.use_embedding_for_task(combined_embedding, 'context analysis')
print(context_analysis_result)

플러그인을 연결할때 임베딩을 초기화 하고 싶을 수 있습니다. 이럴때는 임베딩 프로세스 초기화를 아래와 같이 진행한다면, 프로세스 초기화가 가능합니다. 또한 다중 데이터들을 불러올때는 한글로 표현이 가능합니다. 예를들어 {치과}라고 하면 치과와 관련된 데이터, {정형외과}라고 하면 정형외과 관련된 모든 데이터를 통한 모델개발이 가능합니다. 또한 이미지데이터에 경우는, 기존 하룹에서 작업한 디자인 이미지들을 {디자인이미지} 를 통해 불러올 수 있습니다. 이를 통해, 만드시는 목적에 따른 플러그인을 만드실 수 있으며, 그 결과값은 엄청나게 높은 퀄리티를 낼 수 있을 것입니다.

PHP

include 'haroop_ai.php';

// HaroopAI 임베딩 프로세스 초기화
$haroopAI = new HaroopAI();
$haroopAI->initEmbedding('GPT-3.5', 'Azure');

// 다중 데이터 소스 처리 예시 (다른 과목들도 {여기}에 입력만 하면 됩니다)
$textData = '{치과}';
$imageData = '{디자인이미지}';
$haroopAI->processMultimodalData($textData, $imageData);

// 치과 및 정형외과 관련 데이터 임베딩
$haroopAI->loadData('{정형외과}');

// 임베딩 결과 사용
$result = $haroopAI->analyzeContext();
echo "분석 결과: " . $result;

하룹AI 플러그인은 멘션을 지정하여 호출할 수 있습니다.
예를들어 "@"를 입력하는것만으로 해당 모델을 호출할 수 있으며
이를 위한 데이터 전송을 위한 프롬프트가 자동으로 표기됩니다.
예를들어 기본 베이스모델을 3가지를 선택한다고 치면
GPT3.5, meta lamma2 blog, palm2 이렇게 각 모델을 이용자 요청 답변값인
$haroop_ai_rp->query; 와 같은 방식으로 순차적으로 불러온뒤 모델을 연결하여 답변을 생성할 수 있습니다. 또한 이를 바로 실시간 임베딩을 시켜서 중앙AI인 하룹AI에게 전달할 수 있으며, 아래는 자바스크립트를 처리하는 방식을 보여줍니다.

JavaScript

import HaroopAI from 'haroop-ai-sdk';

// HaroopAI 초기화
const haroopAI = new HaroopAI();

// 멘션을 통한 모델 호출
const mention = "@";
let query = "";

// 멘션에 따른 모델 선택 및 프롬프트 설정
switch(mention) {
case "@GPT3.5":
query = "GPT3.5 모델로 요청 처리";
break;
case "@meta-lamma2-blog":
query = "Meta Lamma2 Blog 모델로 요청 처리";
break;
case "@palm2":
query = "Palm2 모델로 요청 처리";
break;
default:
query = "기본 모델로 요청 처리";
}

// 요청 처리 및 결과 반환
haroopAI.queryModel(query).then(response => {
const embeddedResponse = haroopAI.embedResponse(response);
console.log(embeddedResponse);
});

만약 토큰수가 100k 이상급에 데이터가 아니라면, 임베딩을 사용하지 않을 수 있습니다. 단순한 문장 정도면 세션을 이용해서 임시적으로 세션에 저장후 가져오면되지만, 문장수가 길어질경우, 세션으로 처리하는것은 한계가 있습니다. 그렇기에 이때는 임베딩이 아닌, 바로 RDS 혹은 제공하는 데이터베이스 테이블 (예, haroop_ai_plugin_name)에 자유롭게 칼럼들을 직접 추가하실 수 있으며, 데이터들에 형식 역시 자유롭게 지정하실 수 있습니다. 또한 데이터 삽입은 INSERT 등을 통해 각 구성된 칼럼들 (예를들어 id, text_data, haroopcenter_data, img_data 등등)로 INSERT가 가능하며, 출력후 Delete 문을 통해 자동삭제등에 처리를 하는것도 자유롭게 가능합니다.

SQL

-- 하룹AI 임베딩 데이터 저장
CREATE TABLE haroop_embedding_data (
id INT PRIMARY KEY,
text_data VARCHAR(255),
image_data VARCHAR(255),
embedding_output TEXT
);

-- 샘플 데이터 삽입
INSERT INTO haroop_embedding_data (id, text_data, image_data)
VALUES (1, '샘플 텍스트', '이미지 경로');

import HaroopDB from 'haroop-db';

// HaroopDB 인스턴스 생성
const db = new HaroopDB();

// 간단한 문장 처리
const simpleText = '간단한 문장';
db.storeTemporarySession(simpleText);

// 긴 문장 처리
const longText = '긴 문장 데이터';
if (longText.length > 100000) {
// RDS에 데이터 저장
db.insertInto('haroop_ai_plugin_name', {
id: 1,
text_data: longText,
haroopcenter_data: '여기에 하룹 센터 데이터',
img_data: '이미지 데이터 경로'
});

// 저장된 데이터 사용
db.query('SELECT * FROM haroop_ai_plugin_name WHERE id = 1', (result) => {
console.log('Query Result:', result);

// 사용 후 데이터 삭제
db.delete('DELETE FROM haroop_ai_plugin_name WHERE id = 1');
});
}

아래 쉘 스크립트는 하룹AI의 임베딩 프로세스를 실행하는 예시로, 텍스트와 이미지 데이터를 사용하여 임베딩을 생성하고 결과를 embedding_output.txt 파일에 저장하는 과정을 보여줍니다. 스크립트의 주요 단계는 다음과 같습니다:

데이터 준비
스크립트는 TEXT_DATA와 IMAGE_DATA 변수에 각각 텍스트와 이미지 데이터의 경로를 저장합니다.

임베딩 프로세스 실행
haroop_ai_embedding 명령어를 사용하여 하룹AI 임베딩 프로세스를 실행합니다. 이 명령어는 텍스트와 이미지 데이터를 입력으로 받아 임베딩을 생성합니다.

결과 저장
생성된 임베딩 결과는 embedding_output.txt 파일에 저장됩니다.

Linux 쉘 스크립트

#!/bin/bash
# 하룹AI 임베딩 프로세스 실행 스크립트

# 텍스트와 이미지 데이터 준비
TEXT_DATA="샘플 텍스트"
IMAGE_DATA="이미지 경로"

# HaroopAI 임베딩 프로세스 실행
haroop_ai_embedding --text "$TEXT_DATA" --image "$IMAGE_DATA" > embedding_output.txt