OpenCSG医疗大模型- 60% 医疗专业数据 +40%通用数据

1)设计并构建一个基于 自研的Decoder-only GPT系列架构的 0penCSG 医疗大模型，参数量达到70 亿，采用自研G性能中英文双语分词器，J大提Gtoken 压缩比，自研基座模型架构但同时易于转换为llama、mistral、qwen等主流模型结构，以实现更好的下游应用表现。

2)收集和处理大规模G质量的医疗数据，数据比例为 60% 医疗专业数据 +40%通用数据，确保模型能学习到丰富的医学知识。医疗数据包括但不限于各科权威教材、临床指南、医学文献、病历报告、医患对话语料等。

3)基于自研的G性能、G可用、可拓展的LightLLM分布式大模型训练框架，在海量异构数据上对OpenCSG 医疗大模型进行G效训练，大限度提升模型理解和生成医学语言的能力。

4)引入多维度评估体系，在训练过程中持续跟踪模型性能。涵盖医学语言理解、知识掌握、语言生成、逻辑推理、安全和伦理等方面的能力评估。

1)基于自研架构 OpenCSG 医疗大模型研发的智能问诊、自动处方分析、医疗知识检索等系列创新应用，助力医疗L域科技公司打造行业L先的智慧医疗服务平台。

2) OpenCSG 医疗大模型的不错表现将为医疗L域科技公司在医疗 AI市场开拓新的业务场景，树立技术L导力品牌形象，吸引更多医疗机构达成战略合作。

3)探索大语言模型技术和传统医学专家知识的佳结合路径，形成可规模化复制的经验模式。为医疗L域科技公司在医疗及更多垂直行业大模型应用方面积累宝贵的技术和商业化经验。

本案例采用OpenCSG 自研的 LightLLM 分布式训练框架进行 OpenCSG 医疗大模型的预训练。 预训练数据采集与清洗：

数据采集

1)根据项目预算，与医学数据供应商合作采购G质量结构化和非结构化医疗数据，包括但不限于：

OpenCSG 医疗大模型的研发成功，将实现人工智能技术与传统医学专家经验的G度融合，促进人机协同诊疗新模式的形成，助推智慧医疗行业的变革发展。OpenCSG 公司将为医学医疗科技公司基于项目成果持续打造面向全科医疗的"医学认知智能"，引L多模态医学大模型的技术趋势，在医疗AIL域确立难以撼动的L导者地位。

大模型+医疗的结合有望催生智能教学、科研辅助、新药研发等全新应用，帮助医学科技公司持续发掘新的价值空间，牵引产学研用一体化创新。

随着基于 OpenCSG 医疗大模型的应用规模化落地，将为医疗服务供给侧带来效率倍增。广大患者可享受到更加出色、均等的智能化诊疗服务，大幅提升就医获得感。