llm-connector

Una Herramienta de Sumor Cloud.
Más Documentación

Este es un conector llm para múltiples proveedores de nube.

Proveedores de LLM Soportados

openAI

OpenAI es un laboratorio de investigación que consta de la empresa con fines de lucro OpenAI LP y la organización sin fines de lucro OpenAI Inc. La empresa tiene como objetivo asegurar que la inteligencia artificial general beneficie a toda la humanidad.

• gpt-3.5-turbo
• gpt-4o

qianWen

Alibaba Qianwen es un servicio de inteligencia artificial basado en la nube que proporciona una variedad de capacidades de IA, incluyendo procesamiento de lenguaje natural, visión por computadora y aprendizaje automático.

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Instalación

npm i @sumor/llm-connector --save

Prerrequisitos

Versión de Node.JS

Se requiere Node.JS versión 18.x o superior

Requiere módulo ES de Node.JS

Dado que este paquete está escrito en módulo ES, por favor cambie el siguiente código en su archivo package.json:

{
  "type": "module"
}

Uso

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // o 'qianWen'
  key: '123'
})

const respuesta = await model.chat('gpt-3.5-turbo', [
  {
    role: 'sistema',
    contenido: 'Eres un asistente útil.'
  },
  {
    role: 'usuario',
    contenido: 'Hola'
  }
])

console.log(respuesta)
// Salida: { role: 'asistente', contenido: 'Hola, ¿en qué puedo ayudarte hoy?' }

URL de Punto Final de API Personalizada

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI',
  key: '123',
  endpoint: 'https://api.openai.com',
  chat: '/v1/chat'
})