Conector de llm

Una herramienta de Sumor Cloud.
Más Documentación

Este es un conector de llm para múltiples proveedores de nube.

Proveedores de Nube Compatibles

OpenAI

• gpt-3.5-turbo
• gpt-4o

Alibaba Qianwen

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Instalación

npm i @sumor/llm-connector --save

Prerrequisitos

Versión de Node.JS

Se requiere Node.JS versión 16.x o superior

Requiere módulo ES de Node.JS

Dado que este paquete está escrito en módulo ES, por favor cambie el siguiente código en su archivo package.json:

{
  "type": "module"
}

Uso

Chat

import Modelo from '@sumor/llm-connector'

const modelo = new Modelo({
  tipo: 'openai', // o 'qianwen'
  clave: '123'
})

const respuesta = await modelo.chat('gpt-3.5-turbo', [
  {
    rol: 'sistema',
    contenido: 'Eres un asistente útil.'
  },
  {
    rol: 'usuario',
    contenido: 'Hola'
  }
])

console.log(respuesta)
// Salida: { rol: 'asistente', contenido: 'Hola, ¿cómo puedo ayudarte hoy?' }

URL de Punto Final de API Personalizada

import Modelo from '@sumor/llm-connector'

const modelo = new Modelo({
  tipo: 'openai',
  clave: '123',
  puntoFinal: {
    chat: 'https://api.openai.com/v1/chat'
  }
})