llm-connector

Ein Sumor Cloud Tool.
Weitere Dokumentation

Das ist ein llm-Connector für mehrere Cloud-Anbieter.

Unterstützte Cloud-Anbieter

OpenAI

• gpt-3.5-turbo
• gpt-4o

Alibaba Qianwen

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Installation

npm i @sumor/llm-connector --save

Voraussetzungen

Node.JS Version

Erfordert Node.JS Version 16.x oder höher

Erforderliches Node.JS ES-Modul

Da dieses Paket in ES-Modulen geschrieben ist, ändern Sie bitte den folgenden Code in Ihrer package.json-Datei:

{
  "type": "module"
}

Verwendung

Chat

import Model von '@sumor/llm-connector'

const model = new Model({
  type: 'openai', // oder 'qianwen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'Du bist ein hilfreicher Assistent.'
  },
  {
    role: 'user',
    content: 'Hallo'
  }
])

console.log(response)
// Ausgabe: { role: 'assistant', content: 'Hallo, wie kann ich Ihnen heute helfen?' }

Benutzerdefinierte API-Endpunkt-URL

import Model von '@sumor/llm-connector'

const model = new Model({
  type: 'openai',
  key: '123',
  endpoint: {
    chat: 'https://api.openai.com/v1/chat'
  }
})