Conector-llm

Una Herramienta de Sumor Cloud.
Más Documentación

Se trata de un conector llm para múltiples proveedores de servicios en la nube.

Proveedores de LLM Soportados

openAI

OpenAI es un laboratorio de investigación compuesto por la empresa con fines de lucro OpenAI LP y la organización sin ánimo de lucro OpenAI Inc. La empresa tiene como objetivo asegurar que la inteligencia artificial general beneficie a toda la humanidad.

• gpt-3.5-turbo
• gpt-4o

qianWen

Alibaba Qianwen es un servicio de inteligencia artificial basado en la nube que ofrece una variedad de capacidades de IA, incluyendo procesamiento de lenguaje natural, visión por computadora y aprendizaje automático.

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Instalación

npm i @sumor/llm-connector --save

Requisitos Previos

Versión de Node.JS

Se requiere Node.JS versión 18.x o superior.

Requerir módulo ES de Node.JS

Dado que este paquete está escrito en módulo ES, por favor cambie el siguiente código en su archivo package.json:

{
  "type": "module"
}

Uso

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // o 'qianWen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'Eres un asistente servicial.'
  },
  {
    role: 'user',
    content: 'Hola'
  }
])

console.log(response)
// Salida: { role: 'asistente', content: 'Hola, ¿cómo puedo ayudarte hoy?' }

URL de Punto de Extremo de API Personalizada

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI',
  key: '123',
  endpoint: 'https://api.openai.com',
  chat: '/v1/chat'
})