llm-connector

Sumor Cloud 工具。
更多文档

这是一个用于多个云提供商的 llm 连接器。

支持的云提供商

OpenAI

• gpt-3.5-turbo
• gpt-4o

阿里巴巴千问

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

安装

npm i @sumor/llm-connector --save

先决条件

Node.JS 版本

要求 Node.JS 版本 16.x 或更高

需要 Node.JS ES 模块

由于此包是用 ES 模块编写的，请在您的 package.json 文件中更改以下代码：

{
  "type": "module"
}

使用

聊天

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai', // 或 'qianwen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: '你是一个乐于助人的助手。'
  },
  {
    role: 'user',
    content: '你好'
  }
])

console.log(response)
// 输出: { role: 'assistant', content: '你好，我今天可以帮你什么？' }

自定义 API 端点 URL

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openai',
  key: '123',
  endpoint: {
    chat: 'https://api.openai.com/v1/chat'
  }
})