llm-connector

Un outil Sumor Cloud.
Plus de documentation

Il s'agit d'un connecteur llm pour plusieurs fournisseurs de cloud.

Fournisseurs de cloud pris en charge

OpenAI

• gpt-3.5-turbo
• gpt-4o

Alibaba Qianwen

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

Installation

npm i @sumor/llm-connector --save

Prérequis

Version de Node.JS

Nécessite Node.JS version 16.x ou supérieure

Requiert un module ES de Node.JS

Comme ce package est écrit en module ES, veuillez modifier le code suivant dans votre fichier package.json :

{
  "type": "module"
}

Utilisation

Chat

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai', // ou 'qianwen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'système',
    content: 'Vous êtes un assistant serviable.'
  },
  {
    role: 'utilisateur',
    content: 'Bonjour'
  }
])

console.log(response)
// Sortie: { role: 'assistant', content: 'Bonjour, comment puis-je vous aider aujourd'hui ?' }

URL de point de terminaison API personnalisée

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai',
  key: '123',
  endpoint: {
    chat: 'https://api.openai.com/v1/chat'
  }
})