llm-connector

Sumor Cloud 도구.
더 많은 문서

이것은 여러 클라우드 제공업체를 위한 llm 커넥터입니다.

지원되는 LLM 제공업체

openAI

OpenAI는 영리 OpenAI LP와 비영리 OpenAI Inc.로 구성된 연구소입니다. 회사는 인공 일반 지능이 모든 인류에 이익을 주도록 하는 것을 목표로 합니다.

• gpt-3.5-turbo
• gpt-4o

qianWen

알리바바 천문은 자연 언어 처리, 컴퓨터 비전 및 기계 학습을 포함한 다양한 AI 기능을 제공하는 클라우드 기반 AI 서비스입니다.

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

설치

npm i @sumor/llm-connector --save

전제 조건

Node.JS 버전

Node.JS 버전 18.x 이상이 필요합니다.

Node.JS ES 모듈 필요

이 패키지는 ES 모듈로 작성되었으므로, package.json 파일에서 다음 코드를 변경해주세요:

{
  "type": "module"
}

사용법

채팅

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // 또는 'qianWen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: '당신은 유용한 어시스턴트입니다.'
  },
  {
    role: 'user',
    content: '안녕'
  }
])

console.log(response)
// 출력: { role: 'assistant', content: '안녕하세요, 오늘 어떻게 도와드릴까요?' }

사용자 정의 API 엔드포인트 URL

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI',
  key: '123',
  endpoint: 'https://api.openai.com',
  chat: '/v1/chat'
})