llm-connector

Ein Sumor Cloud Tool.
Mehr Dokumentation

Dies ist ein llm-Connector für mehrere Cloud-Anbieter.

Unterstützte LLM-Anbieter

openAI

OpenAI ist ein Forschungslabor, bestehend aus dem gewinnorientierten OpenAI LP und dem gemeinnützigen OpenAI Inc. Das Unternehmen zielt darauf ab, sicherzustellen, dass die künstliche Allgemeinintelligenz allen Menschen zugute kommt.

• gpt-3.5-turbo
• gpt-4o

qianWen

Alibaba Qianwen ist ein auf Cloud basierender KI-Dienst, der eine Vielzahl von KI-Fähigkeiten bietet, einschließlich natürlicher Sprachverarbeitung, Bildverarbeitung und maschinellem Lernen.

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Installation

npm i @sumor/llm-connector --save

Voraussetzungen

Node.JS-Version

Erfordert Node.JS-Version 18.x oder höher

Erforderliches Node.JS ES-Modul

Da dieses Paket in ES-Modul geschrieben ist, ändern Sie bitte den folgenden Code in Ihrer package.json-Datei:

{
  "type": "module"
}

Verwendung

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // oder 'qianWen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'Du bist ein hilfreicher Assistent.'
  },
  {
    role: 'user',
    content: 'Hallo'
  }
])

console.log(response)
// Ausgabe: { role: 'assistant', content: 'Hallo, wie kann ich Ihnen heute helfen?' }

Bild

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // oder 'qianWen'
  key: '123'
})

const response = await model.image('dall-e-3', 'ein Gemälde einer Blumenvase', '1024x1024')
console.log(response)
// Ausgabe: https://oaidalleapiprodscus.blob.core.windows.net/private/org-B7O45Q0iSubrkWb...

Benutzerdefinierte API-Endpunkt-URL

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI',
  key: '123',
  endpoint: 'https://api.openai.com',
  chat: '/v1/chat',
  image: '/v1/image'
})