llm-connector

Ein Sumor Cloud Tool.
Weitere Dokumentation

Dies ist ein llm-Connector für mehrere Cloud-Anbieter.

Unterstützte LLM-Anbieter

openAI

OpenAI ist ein Forschungslabor, bestehend aus dem gewinnorientierten Unternehmen OpenAI LP und der gemeinnützigen Organisation OpenAI Inc. Das Unternehmen zielt darauf ab, sicherzustellen, dass die künstliche Allgemeine Intelligenz allen Menschen zugutekommt.

• gpt-3.5-turbo
• gpt-4o

qianWen

Alibaba Qianwen ist ein cloudbasierter KI-Dienst, der verschiedene KI-Funktionen wie natürliche Sprachverarbeitung, Computer Vision und maschinelles Lernen bietet.

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Installation

npm i @sumor/llm-connector --save

Voraussetzungen

Node.JS Version

Erfordert Node.JS Version 18.x oder höher

Erfordern Node.JS ES-Modul

Da dieses Paket in ES-Modul geschrieben ist, ändere bitte den folgenden Code in deiner package.json-Datei:

{
  "type": "module"
}

Verwendung

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // oder 'qianWen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'Du bist ein hilfreicher Assistent.'
  },
  {
    role: 'user',
    content: 'Hallo'
  }
])

console.log(response)
// Ausgabe: { role: 'assistant', content: 'Hallo, wie kann ich dir heute helfen?' }

Benutzerdefinierte API-Endpunkt-URL

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI',
  key: '123',
  endpoint: 'https://api.openai.com',
  chat: '/v1/chat'
})