llm-connector

Ein Sumor Cloud Tool.
Weitere Dokumentation

Dies ist ein llm-Connector für mehrere Cloud-Anbieter.

Unterstützte LLM-Anbieter

openAI

OpenAI ist ein Forschungslabor, bestehend aus dem gemeinnützigen Unternehmen OpenAI LP und dem gemeinnützigen OpenAI Inc. Das Unternehmen zielt darauf ab, sicherzustellen, dass die künstliche allgemeine Intelligenz allen Menschen zugute kommt.

• gpt-3.5-turbo
• gpt-4o

qianWen

Alibaba Qianwen ist ein cloudbasierter KI-Dienst, der verschiedene KI-Fähigkeiten wie natürliche Sprachverarbeitung, Bildverarbeitung und maschinelles Lernen bietet.

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Installation

npm i @sumor/llm-connector --save

Voraussetzungen

Node.JS Version

Erfordert Node.JS Version 18.x oder höher.

Erfordern Node.JS ES-Modul

Da dieses Paket in ES-Modul geschrieben ist, ändern Sie bitte den folgenden Code in Ihrer package.json-Datei:

{
  "type": "module"
}

Verwendung

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // oder 'qianWen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'Du bist ein hilfreicher Assistent.'
  },
  {
    role: 'user',
    content: 'Hallo'
  }
])

console.log(response)
// Ausgabe: { role: 'assistant', content: 'Hallo, wie kann ich Ihnen heute helfen?' }

Bild

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // oder 'qianWen'
  key: '123'
})

const response = await model.image('dall-e-3', 'ein Gemälde einer Blumenvase', '1024x1024')
console.log(response)
// Ausgabe: https://oaidalleapiprodscus.blob.core.windows.net/private/org-B7O45Q0iSubrkWb...

Benutzerdefinierte API-Endpunkt-URL

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI',
  key: '123',
  endpoint: 'https://api.openai.com',
  chat: '/v1/chat',
  image: '/v1/image'
})