




如果您无法下载资料,请参考说明:
1、部分资料下载需要金币,请确保您的账户上有足够的金币
2、已购买过的文档,再次下载不重复扣费
3、资料包下载后请先用软件解压,在使用对应软件打开
(19)国家知识产权局 (12)发明专利申请 (10)申请公布号CN117951211A (43)申请公布日2024.04.30 (21)申请号202410348300.2 (22)申请日2024.03.26 (71)申请人宁算(南京)科技有限公司 地址210000江苏省南京市栖霞区经济技 术开发区恒泰路8号汇智科技园A2栋 第11层1101室 申请人西藏宁算科技集团有限公司 (72)发明人冯偲李红雁薛寒周树亮 (74)专利代理机构南京华恒专利代理事务所 (普通合伙)32335 专利代理师宋方园 (51)Int.Cl. G06F16/25(2019.01) G06F16/215(2019.01) G06F21/64(2013.01) 权利要求书3页说明书5页附图3页 (54)发明名称 一种用于云服务行业大语言模型私有化部 署装置及方法 (57)摘要 本发明公开了一种用于云服务行业大语言 模型私有化部署装置及方法,装置包括:用于搜 集原始数据的数据搜集模块,用于对搜集的原始 数据进行预处理的模块一,用于对预处理的数据 进行向量化处理并生成对应的索引的模块二,向 量化存储的云服务数据库,部署在私有化的服务 器上的大语言模型,用于参数寻优的模块三等。 本发明在云服务知识库的基础上对大语言模型 进行私有化部署,可充分依据企业的自有数据, 更符合实际的项目需要,保证企业数据安全的前 提下,提升了云服务行业大模型的专业性。 CN117951211A CN117951211A权利要求书1/3页 1.一种用于云服务行业大语言模型私有化部署装置,其特征在于,在用户端的私有化 的服务器上部署大语言模型、模块一、模块二和模块三;其中, 所述模块一用于对搜集的原始数据进行预处理,所述原始数据是搜集到的私有化的用 户数据,包括云服务帮助文档、说明书、用户手册、服务器的运行记录; 所述模块二用于对预处理后的数据进行向量化处理,生成对应的索引,所述原始数据、 预处理后的数据和向量化处理化的数据均存储到云服务数据库中; 所述模块三用于对关键参数进行寻优,并使用寻优结果对大语言模型进行优化处理; 所述关键参数包括推理服务器的GPU内存加载参数、推理批次数量、检索文档区块的数量和 大语言模型的量化等级; 所述大语言模型能够访问用于对输入大语言模型的数据进行运算、分析和推理处理, 所述输入大语言模型的数据包括装置接收到的用户提出的问题,以及从云服务数据库中检 索到的与问题相关的描述。 2.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置,其特征在 于,所述模块一包括: 空白区域标准化单元,采用正则匹配的方式,匹配超过两个空格的空行,并将对应的空 行替换成两个空格; 特殊符号处理单元,采用正则匹配的方式,进行特殊符号的清洗; 停止词过滤单元,采用遍历算法和正则匹配的方式,遍历原始数据,对停止词进行替换 和删除,其中,所述停止词通过预先分析文档常用的停止词,加入到停止词列表中; 基于困惑度的词句过滤单元,使用N‑gram模型,对原始数据中的词语或句子进行困惑 度计算,当困惑度低于0.5时,删除对应的词语或句子。 3.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置,其特征在 于,所述模块二包括: 数据加载单元,用于加载待向量化的数据; 拆分单元,用于对加载的待向量化的数据进行拆分,得到拆分后的文档; 向量提取单元,用于加载HuggingFace的语言模型,对拆分后的文档进行向量化提取, 得到与拆分后的文档对应的向量; 输出模块,用于将拆分后的文档和对应的向量以DuckDB文件结构的形式输出至云服务 数据库。 4.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置,其特征在 于,所述模块三包括: 最优区间确定单元,用于输入待优化的参数,并确定各个参数的最优区间; 网格寻优单元,用于采用网格寻优的方法,在各个参数的最优区间内,以设定的步长寻 找到各个参数的最优解; 优化模块,使用各个参数的最优解对大语言模型进行优化。 5.根据权利要求1所述的一种用于云服务行业大语言模型私有化部署装置,其特征在 于,所述装置还包括: 数据搜集模块,用于搜集私有化的用户数据,包括云服务帮助文档、说明书、用户手册、 服务器的运行记录; 2 CN117951211A权利要求书2/3页 用户提问模块,用于接收用户提出的问题; 回答模块,用于输出针对所述问题的回答; 所述用户提问模块收到用户提出的问题后,调用通信接口访问云服务数据库,在云服 务数据库中检索到和所述问题相关的描述,所述问题和描述提交给大语言模型。 6.一种用于云服务行业大语言模型私有化部署方法,其特征在于,包括步骤: 对搜集的原始数据进行预处理,所述原始数据是搜集到的私有化的用户数
Ta的资源

2020110359336低致栓颅内血管编织支架及其处理方法

2020110303186一种钙钛矿量子点聚合物粒子的制备方法

2020110124078基于精准医疗的大数据分析系统及方法

2020109651910 应用近红外谷物分析仪建立油莎豆中粗脂肪含量的检测方法

2020109529321一种铝合金用无氟无氯环保粒状精炼剂及其制备和应用

2020108899336一种新能源商用车总装车间线路布局

2020108620703城市燃气管网多输差协同计算模型及应用方法

2020108207369一种微交联阳离子型聚丙烯酰胺絮凝剂及其制备方法与应用

2020108035131一种基于全站仪的激光雷达外部参数标定方法

2020107682859一种内燃机等离子节油器阴阳极的制备方法

13****40
实名认证
内容提供者


最近下载