2024103483002一种用于云服务行业大语言模型私有化部署装置及方法.pdf 立即下载
2024-08-17
约8.5千字
约12页
0
1.3MB
举报 版权申诉
预览加载中,请您耐心等待几秒...

2024103483002一种用于云服务行业大语言模型私有化部署装置及方法.pdf

2024103483002一种用于云服务行业大语言模型私有化部署装置及方法.pdf

预览

免费试读已结束,剩余 7 页请下载文档后查看

10 金币

下载文档

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN117951211A
(43)申请公布日2024.04.30
(21)申请号202410348300.2
(22)申请日2024.03.26

(71)申请人宁算(南京)科技有限公司
地址210000江苏省南京市栖霞区经济技
术开发区恒泰路8号汇智科技园A2栋
第11层1101室
申请人西藏宁算科技集团有限公司
(72)发明人冯偲李红雁薛寒周树亮
(74)专利代理机构南京华恒专利代理事务所
(普通合伙)32335
专利代理师宋方园
(51)Int.Cl.
G06F16/25(2019.01)
G06F16/215(2019.01)
G06F21/64(2013.01)
权利要求书3页说明书5页附图3页
(54)发明名称
一种用于云服务行业大语言模型私有化部
署装置及方法
(57)摘要
本发明公开了一种用于云服务行业大语言
模型私有化部署装置及方法,装置包括:用于搜
集原始数据的数据搜集模块,用于对搜集的原始
数据进行预处理的模块一,用于对预处理的数据
进行向量化处理并生成对应的索引的模块二,向
量化存储的云服务数据库,部署在私有化的服务
器上的大语言模型,用于参数寻优的模块三等。
本发明在云服务知识库的基础上对大语言模型
进行私有化部署,可充分依据企业的自有数据,
更符合实际的项目需要,保证企业数据安全的前
提下,提升了云服务行业大模型的专业性。
CN117951211A
CN117951211A权利要求书1/3页

1.一种用于云服务行业大语言模型私有化部署装置,其特征在于,在用户端的私有化
的服务器上部署大语言模型、模块一、模块二和模块三;其中,
所述模块一用于对搜集的原始数据进行预处理,所述原始数据是搜集到的私有化的用
户数据,包括云服务帮助文档、说明书、用户手册、服务器的运行记录;
所述模块二用于对预处理后的数据进行向量化处理,生成对应的索引,所述原始数据、
预处理后的数据和向量化处理化的数据均存储到云服务数据库中;
所述模块三用于对关键参数进行寻优,并使用寻优结果对大语言模型进行优化处理;
所述关键参数包括推理服务器的GPU内存加载参数、推理批次数量、检索文档区块的数量和
大语言模型的量化等级;
所述大语言模型能够访问用于对输入大语言模型的数据进行运算、分析和推理处理,
所述输入大语言模型的数据包括装置接收到的用户提出的问题,以及从云服务数据库中检
索到的与问题相关的描述。
2.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置,其特征在
于,所述模块一包括:
空白区域标准化单元,采用正则匹配的方式,匹配超过两个空格的空行,并将对应的空
行替换成两个空格;
特殊符号处理单元,采用正则匹配的方式,进行特殊符号的清洗;
停止词过滤单元,采用遍历算法和正则匹配的方式,遍历原始数据,对停止词进行替换
和删除,其中,所述停止词通过预先分析文档常用的停止词,加入到停止词列表中;
基于困惑度的词句过滤单元,使用N‑gram模型,对原始数据中的词语或句子进行困惑
度计算,当困惑度低于0.5时,删除对应的词语或句子。
3.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置,其特征在
于,所述模块二包括:
数据加载单元,用于加载待向量化的数据;
拆分单元,用于对加载的待向量化的数据进行拆分,得到拆分后的文档;
向量提取单元,用于加载HuggingFace的语言模型,对拆分后的文档进行向量化提取,
得到与拆分后的文档对应的向量;
输出模块,用于将拆分后的文档和对应的向量以DuckDB文件结构的形式输出至云服务
数据库。
4.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置,其特征在
于,所述模块三包括:
最优区间确定单元,用于输入待优化的参数,并确定各个参数的最优区间;
网格寻优单元,用于采用网格寻优的方法,在各个参数的最优区间内,以设定的步长寻
找到各个参数的最优解;
优化模块,使用各个参数的最优解对大语言模型进行优化。
5.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置,其特征在
于,所述装置还包括:
数据搜集模块,用于搜集私有化的用户数据,包括云服务帮助文档、说明书、用户手册、
服务器的运行记录;

2
CN117951211A权利要求书2/3页
用户提问模块,用于接收用户提出的问题;
回答模块,用于输出针对所述问题的回答;
所述用户提问模块收到用户提出的问题后,调用通信接口访问云服务数据库,在云服
务数据库中检索到和所述问题相关的描述,所述问题和描述提交给大语言模型。
6.一种用于云服务行业大语言模型私有化部署方法,其特征在于,包括步骤:
对搜集的原始数据进行预处理,所述原始数据是搜集到的私有化的用户数
查看更多
单篇购买
VIP会员(1亿+VIP文档免费下)

扫码即表示接受《下载须知》

2024103483002一种用于云服务行业大语言模型私有化部署装置及方法

文档大小:1.3MB

限时特价:扫码查看

• 请登录后再进行扫码购买
• 使用微信/支付宝扫码注册及付费下载,详阅 用户协议 隐私政策
• 如已在其他页面进行付款,请刷新当前页面重试
• 付费购买成功后,此文档可永久免费下载
全场最划算
12个月
199.0
¥360.0
限时特惠
3个月
69.9
¥90.0
新人专享
1个月
19.9
¥30.0
24个月
398.0
¥720.0
6个月会员
139.9
¥180.0

6亿VIP文档任选,共次下载特权。

已优惠

微信/支付宝扫码完成支付,可开具发票

VIP尽享专属权益

VIP文档免费下载

赠送VIP文档免费下载次数

阅读免打扰

去除文档详情页间广告

专属身份标识

尊贵的VIP专属身份标识

高级客服

一对一高级客服服务

多端互通

电脑端/手机端权益通用