llm-connector

Ein Sumor Cloud Tool.
Weitere Dokumentation

Dies ist ein llm-Connector für mehrere Cloud-Anbieter.

Installation

npm i @sumor/llm-connector --save

Voraussetzungen

Node.JS-Version

Node.JS-Version 16.x oder höher erforderlich

Erforderliches Node.JS ES-Modul

Da dieses Paket in ES-Modul geschrieben ist, ändern Sie bitte den folgenden Code in Ihrer package.json-Datei:

{
  "type": "module"
}

Verwendung

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai',
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'Sie sind ein hilfsbereiter Assistent.'
  },
  {
    role: 'user',
    content: 'Hallo'
  }
])

console.log(response)
// Ausgabe: { role: 'assistant', content: 'Hallo, wie kann ich Ihnen heute helfen?' }

Benutzerdefinierte API-Endpunkt-URL

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai',
  key: '123',
  endpoint: {
    chat: 'https://api.openai.com/v1/chat'
  }
})