llm-connector

一个Sumor Cloud工具。
更多文档

这是一个用于多个云提供商的llm 连接器。

支持的LLM提供商

openAI

OpenAI是一个由盈利性OpenAI LP和非盈利性OpenAI Inc组成的研究实验室。该公司旨在确保人工通用智能造福全人类。

• gpt-3.5-turbo
• gpt-4o

qianWen

阿里巴巴千问是一种基于云的人工智能服务，提供各种人工智能功能，包括自然语言处理、计算机视觉和机器学习。

• qwen-turbo
• qwen-plus
• qwen-max
• qwen-max-longcontext

安装

npm i @sumor/llm-connector --save

先决条件

Node.JS版本

需要Node.JS版本18.x或以上

需要Node.JS ES模块

由于这个包是用ES模块写的，请在您的package.json文件中更改以下代码：

{
  "type": "module"
}

用法

聊天

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI', // 或 'qianWen'
  key: '123'
})

const response = await model.chat('gpt-3.5-turbo', [
  {
    role: 'system',
    content: 'You are a helpful assistant.'
  },
  {
    role: 'user',
    content: 'Hello'
  }
])

console.log(response)
// 输出: { role: 'assistant', content: 'Hello, how can I help you today?' }

自定义API端点URL

import Model from '@sumor/llm-connector'

const model = new Model({
  type: 'openAI',
  key: '123',
  endpoint: 'https://api.openai.com',
  chat: '/v1/chat'
})