llm-connector

Инструмент Sumor Cloud.
Больше документации

Это коннектор llm для нескольких облачных провайдеров.

Установка

npm i @sumor/llm-connector --save

Предварительные требования

Версия Node.JS

Требуется версия Node.JS 16.x или выше.

Требуется ES-модуль Node.JS

Поскольку этот пакет написан в ES-модуле, пожалуйста, измените следующий код в своем файле package.json:

{
  "type": "module"
}

Использование

Чат

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai',
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'You are a helpful assistant.'
  },
  {
    role: 'user',
    content: 'Hello'
  }
])

console.log(response)
// Output: { role: 'assistant', content: 'Hello, how can I help you today?' }

Пользовательский URL конечной точки API

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai',
  key: '123',
  endpoint: {
    chat: 'https://api.openai.com/v1/chat'
  }
})