llm-connector

Ein Sumor Cloud Tool.
Weitere Dokumentation

Dies ist ein llm-Connector für mehrere Cloud-Anbieter.

Unterstützte LLM-Anbieter

OpenAI

OpenAI ist ein Forschungslabor, bestehend aus dem gewinnorientierten OpenAI LP und dem gemeinnützigen OpenAI Inc. Das Unternehmen zielt darauf ab, sicherzustellen, dass künstliche Allgemeine Intelligenz allen Menschen zugutekommt.

• gpt-3.5-turbo
• gpt-4o

QianWen

Alibaba Qianwen ist ein cloudbasierter KI-Dienst, der eine Vielzahl von KI-Funktionen bietet, darunter Natural Language Processing, Computer Vision und Machine Learning.

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Installation

npm i @sumor/llm-connector --save

Voraussetzungen

Node.JS Version

Erfordert Node.JS Version 18.x oder höher

Erfordern von Node.JS ES-Modul

Da dieses Paket in ES-Modul geschrieben ist, ändern Sie bitte den folgenden Code in Ihrer package.json-Datei:

{
  "type": "module"
}

Verwendung

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // oder 'qianWen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'Du bist ein hilfreicher Assistent.'
  },
  {
    role: 'user',
    content: 'Hallo'
  }
])

console.log(response)
// Ergebnis: { role: 'assistant', content: 'Hallo, wie kann ich Ihnen heute helfen?' }

Benutzerdefinierte API-Endpunkt-URL

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI',
  key: '123',
  endpoint: 'https://api.openai.com',
  chat: '/v1/chat'
})