llm-connector

Ein Sumor Cloud Tool.
Weitere Dokumentation

Dies ist ein llm-Connector für mehrere Cloud-Anbieter.

Unterstützte Cloud-Anbieter

OpenAI

• gpt-3.5-turbo
• gpt-4o

Alibaba Qianwen

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Installation

npm i @sumor/llm-connector --save

Voraussetzungen

Node.JS-Version

Erfordert Node.JS-Version 16.x oder höher

Erfordern Sie Node.JS ES-Modul

Da dieses Paket in ES-Modul geschrieben ist, ändern Sie bitte den folgenden Code in Ihrer package.json-Datei:

{
  "type": "module"
}

Verwendung

Chatten

import Model von '@sumor/llm-connector'

const model = new Model({
  typ: 'openai', // oder 'qianwen'
  schlüssel: '123'
})

const antwort = await model.chat('gpt-3.5-turbo', [
  {
    rolle: 'system',
    inhalt: 'Du bist ein hilfreicher Assistent.'
  },
  {
    rolle: 'benutzer',
    inhalt: 'Hallo'
  }
])

console.log(antwort)
// Ausgabe: { rolle: 'assistent', inhalt: 'Hallo, wie kann ich Ihnen heute helfen?' }

Benutzerdefinierte API-Endpunkt-URL

import Model von '@sumor/llm-connector'

const model = new Model({
  typ: 'openai',
  schlüssel: '123',
  endpunkt: {
    chat: 'https://api.openai.com/v1/chat'
  }
})