2024103483002一种用于云服务行业大语言模型私有化部署装置及方法.pdf

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN117951211A
(43)申请公布日2024.04.30
(21)申请号202410348300.2
(22)申请日2024.03.26

(71)申请人宁算（南京）科技有限公司
地址210000江苏省南京市栖霞区经济技
术开发区恒泰路8号汇智科技园A2栋
第11层1101室
申请人西藏宁算科技集团有限公司
(72)发明人冯偲李红雁薛寒周树亮
(74)专利代理机构南京华恒专利代理事务所
(普通合伙)32335
专利代理师宋方园
(51)Int.Cl.
G06F16/25(2019.01)
G06F16/215(2019.01)
G06F21/64(2013.01)
权利要求书3页说明书5页附图3页
(54)发明名称
一种用于云服务行业大语言模型私有化部
署装置及方法
(57)摘要
本发明公开了一种用于云服务行业大语言
模型私有化部署装置及方法，装置包括：用于搜
集原始数据的数据搜集模块，用于对搜集的原始
数据进行预处理的模块一，用于对预处理的数据
进行向量化处理并生成对应的索引的模块二，向
量化存储的云服务数据库，部署在私有化的服务
器上的大语言模型，用于参数寻优的模块三等。
本发明在云服务知识库的基础上对大语言模型
进行私有化部署，可充分依据企业的自有数据，
更符合实际的项目需要，保证企业数据安全的前
提下，提升了云服务行业大模型的专业性。
CN117951211A
CN117951211A权利要求书1/3页

1.一种用于云服务行业大语言模型私有化部署装置，其特征在于，在用户端的私有化
的服务器上部署大语言模型、模块一、模块二和模块三；其中，
所述模块一用于对搜集的原始数据进行预处理，所述原始数据是搜集到的私有化的用
户数据，包括云服务帮助文档、说明书、用户手册、服务器的运行记录；
所述模块二用于对预处理后的数据进行向量化处理，生成对应的索引，所述原始数据、
预处理后的数据和向量化处理化的数据均存储到云服务数据库中；
所述模块三用于对关键参数进行寻优，并使用寻优结果对大语言模型进行优化处理；
所述关键参数包括推理服务器的GPU内存加载参数、推理批次数量、检索文档区块的数量和
大语言模型的量化等级；
所述大语言模型能够访问用于对输入大语言模型的数据进行运算、分析和推理处理，
所述输入大语言模型的数据包括装置接收到的用户提出的问题，以及从云服务数据库中检
索到的与问题相关的描述。
2.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置，其特征在
于，所述模块一包括：
空白区域标准化单元，采用正则匹配的方式，匹配超过两个空格的空行，并将对应的空
行替换成两个空格；
特殊符号处理单元，采用正则匹配的方式，进行特殊符号的清洗；
停止词过滤单元，采用遍历算法和正则匹配的方式，遍历原始数据，对停止词进行替换
和删除，其中，所述停止词通过预先分析文档常用的停止词，加入到停止词列表中；
基于困惑度的词句过滤单元，使用N‑gram模型，对原始数据中的词语或句子进行困惑
度计算，当困惑度低于0.5时，删除对应的词语或句子。
3.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置，其特征在
于，所述模块二包括：
数据加载单元，用于加载待向量化的数据；
拆分单元，用于对加载的待向量化的数据进行拆分，得到拆分后的文档；
向量提取单元，用于加载HuggingFace的语言模型，对拆分后的文档进行向量化提取，
得到与拆分后的文档对应的向量；
输出模块，用于将拆分后的文档和对应的向量以DuckDB文件结构的形式输出至云服务
数据库。
4.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置，其特征在
于，所述模块三包括：
最优区间确定单元，用于输入待优化的参数，并确定各个参数的最优区间；
网格寻优单元，用于采用网格寻优的方法，在各个参数的最优区间内，以设定的步长寻
找到各个参数的最优解；
优化模块，使用各个参数的最优解对大语言模型进行优化。
5.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置，其特征在
于，所述装置还包括：
数据搜集模块，用于搜集私有化的用户数据，包括云服务帮助文档、说明书、用户手册、
服务器的运行记录；

2
CN117951211A权利要求书2/3页
用户提问模块，用于接收用户提出的问题；
回答模块，用于输出针对所述问题的回答；
所述用户提问模块收到用户提出的问题后，调用通信接口访问云服务数据库，在云服
务数据库中检索到和所述问题相关的描述，所述问题和描述提交给大语言模型。
6.一种用于云服务行业大语言模型私有化部署方法，其特征在于，包括步骤：
对搜集的原始数据进行预处理，所述原始数据是搜集到的私有化的用户数