llm-connector

Sumor Cloud - инструмент.
Дополнительная документация

Это коннектор llm для нескольких облачных провайдеров.

Поддерживаемые LLM-провайдеры

openAI

OpenAI - это исследовательская лаборатория, состоящая из коммерческой OpenAI LP и некоммерческой OpenAI Inc. Компания стремится обеспечить, чтобы искусственный общий интеллект приносил пользу всему человечеству.

• gpt-3.5-turbo
• gpt-4o

qianWen

Alibaba Qianwen - это облачная услуга искусственного интеллекта, предоставляющая различные возможности искусственного интеллекта, включая обработку естественного языка, компьютерное зрение и машинное обучение.

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Установка

npm i @sumor/llm-connector --save

Предварительные требования

Версия Node.JS

Требуется Node.JS версии 18.x или выше.

Требуется модуль ES для Node.JS

Поскольку пакет написан в виде модуля ES, пожалуйста, измените следующий код в файле package.json:

{
  "type": "module"
}

Использование

Чат

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // или 'qianWen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'система',
    content: 'Вы — полезный ассистент.'
  },
  {
    role: 'пользователь',
    content: 'Привет'
  }
])

console.log(response)
// Результат: { role: 'ассистент', content: 'Привет, чем могу помочь сегодня?' }

Изображение

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // или 'qianWen'
  key: '123'
})

const response = await model.image('dall-e-3', 'картина вазы с цветком', '1024x1024')
console.log(response)
// Результат: https://oaidalleapiprodscus.blob.core.windows.net/private/org-B7O45Q0iSubrkWb...

Пользовательский URL API-конечной точки

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI',
  key: '123',
  endpoint: 'https://api.openai.com',
  chat: '/v1/chat',
  image: '/v1/image'
})