llm-connector

Ein Sumor Cloud Tool.
Weitere Dokumentation

Dies ist ein llm-Connector für mehrere Cloud-Anbieter.

Unterstützte LLM-Anbieter

openAI

OpenAI ist ein Forschungslabor, bestehend aus dem gewinnorientierten OpenAI LP und dem gemeinnützigen OpenAI Inc. Das Unternehmen zielt darauf ab, sicherzustellen, dass die künstliche allgemeine Intelligenz allen Menschen zugutekommt.

• gpt-3.5-turbo
• gpt-4o

qianWen

Alibaba Qianwen ist ein cloudbasierter KI-Dienst, der eine Vielzahl von KI-Funktionen wie natürliche Sprachverarbeitung, Bildverarbeitung und maschinelles Lernen bietet.

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Installation

npm i @sumor/llm-connector --save

Voraussetzungen

Node.JS-Version

Erfordert Node.JS-Version 18.x oder höher

Erforderliches Node.JS-ES-Modul

Da dieses Paket in ES-Modul geschrieben ist, ändere bitte den folgenden Code in deiner package.json-Datei:

{
  "type": "module"
}

Verwendung

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // oder 'qianWen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'Du bist ein hilfreicher Assistent.'
  },
  {
    role: 'user',
    content: 'Hallo'
  }
])

console.log(response)
// Ausgabe: { role: 'assistant', content: 'Hallo, wie kann ich dir heute helfen?' }

Benutzerdefinierte API-Endpunkt-URL

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI',
  key: '123',
  endpoint: 'https://api.openai.com',
  chat: '/v1/chat'
})