llm-connector

Una herramienta de Sumor Cloud.
Más documentación

Este es un conector llm para múltiples proveedores de nube.

Instalación

npm i @sumor/llm-connector --save

Prerrequisitos

Versión de Node.JS

Requiere Node.JS versión 16.x o superior

Requiere módulo ES de Node.JS

Como este paquete está escrito en módulo ES, por favor cambie el siguiente código en su archivo package.json:

{
  "type": "module"
}

Uso

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai',
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'Eres un asistente servicial.'
  },
  {
    role: 'user',
    content: 'Hola'
  }
])

console.log(response)
// Salida: { role: 'asistente', content: 'Hola, ¿cómo puedo ayudarte hoy?' }

URL de punto final API personalizada

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai',
  key: '123',
  endpoint: {
    chat: 'https://api.openai.com/v1/chat'
  }
})