llm-connector

Ein Sumor Cloud Tool.
Weitere Dokumentation

Dies ist ein llm-Connector für mehrere Cloud-Anbieter.

Unterstützte LLM-Anbieter

OpenAI

OpenAI ist ein Forschungslabor, das aus dem gewinnorientierten OpenAI LP und der gemeinnützigen OpenAI Inc. besteht. Das Unternehmen zielt darauf ab, sicherzustellen, dass die künstliche allgemeine Intelligenz allen Menschen zugute kommt.

• gpt-3.5-turbo
• gpt-4o

qianWen

Alibaba Qianwen ist ein cloudbasierter KI-Dienst, der verschiedene KI-Funktionen wie natürliche Sprachverarbeitung, Computer Vision und maschinelles Lernen bietet.

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Installation

npm i @sumor/llm-connector --save

Voraussetzungen

Node.JS Version

Erfordert Node.JS Version 18.x oder höher

Erforderliches Node.JS ES-Modul

Da dieses Paket in ES-Modul geschrieben ist, ändern Sie bitte den folgenden Code in Ihrer package.json-Datei:

{
  "type": "module"
}

Verwendung

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // oder 'qianWen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'Sie sind ein hilfreicher Assistent.'
  },
  {
    role: 'user',
    content: 'Hallo'
  }
])

console.log(response)
// Ausgabe: { role: 'assistant', content: 'Hallo, wie kann ich Ihnen heute helfen?' }

Bild

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // oder 'qianWen'
  key: '123'
})

const response = await model.image('dall-e-3', 'ein Gemälde einer Blumenvase', '1024x1024')
console.log(response)
// Ausgabe: https://oaidalleapiprodscus.blob.core.windows.net/private/org-B7O45Q0iSubrkWb...

Benutzerdefinierte API-Endpunkt-URL

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI',
  key: '123',
  endpoint: 'https://api.openai.com',
  chat: '/v1/chat',
  image: '/v1/image'
})