llm-connector

Uma Ferramenta Sumor Cloud.
Documentação Adicional

Este é um conector llm para vários provedores de nuvem.

Instalação

npm i @sumor/llm-connector --save

Pré-requisitos

Versão do Node.JS

Requer Node.JS versão 16.x ou superior

Requer Módulo ES do Node.JS

Como este pacote é escrito em módulo ES, por favor altere o código a seguir no arquivo package.json:

{
  "type": "module"
}

Uso

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai',
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'Você é um assistente prestativo.'
  },
  {
    role: 'user',
    content: 'Olá'
  }
])

console.log(response)
// Saída: { role: 'assistant', content: 'Olá, como posso te ajudar hoje?' }

URL do Endpoint da API Personalizada

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai',
  key: '123',
  endpoint: {
    chat: 'https://api.openai.com/v1/chat'
  }
})