近日，此芯科技携手众智FlagOS社区，依托底层软硬件协同优化能力，完成MiniCPM-OCR系列模型Day0级端侧适配。该系列由面壁智能联合OpenBMB正式开源，是面向文档解析与文字识别的新一代大模型，包含1.3B参数1.0版本与2B参数Jev质检模型。

这意味着，具备复杂文档解析能力的1.3B轻量模型，以及担任文档“AI质检员”角色的2B Jev模型，可直接在此芯P1 SoC上高效、离线运行。此举不仅大幅降低了端侧AI的部署门槛，同时降低了敏感文档在云端处理的隐私泄露风险。

端侧深度优化: 此芯科技构筑安全高效的本地“AI质检”防线

本次适配成功将MiniCPM-OCR 1.0 与Jev模型落地此芯科技SoC端侧，实现文档解析与质检的纯本地运行。这不仅摆脱了网络依赖，更让敏感数据“不出端”，有助于保障客户信息安全。

FlagOS × 此芯 P1：精准调度、极简访存与算子融合

为在纯CPU环境下充分释放算力性能，FlagOS围绕此芯P1的处理器架构特点，展开了一系列针对性的底层深度优化：

• 精准算力调度与底层加速

  FlagOS将推理任务精准绑定至此芯P1的8个Cortex-A720大核，有效避免了大小核混用带来的负载不均。同时，两大模型均保留BF16精度，在线性层深度复用oneDNN/ACL计算能力，为视觉处理、状态更新和生成缓存打好了算力基础。

  
  

• MiniCPM-OCR：极简数据搬运与缓存优化

  针对解析过程中的重复计算与访存瓶颈，优化团队将等长图像块合并批处理，减少视觉编码器的零散调用。在逐Token生成时，通过预分配KV缓存并借助Triton内核原位写入，避免历史缓存的反复拼接与复制。同时，将GDN递归计算等状态更新接入专属路径，大幅压缩了生成热路径的中间数据开销。

  
  

• Jev：质检判别一次成型与算子融合

  围绕单次前向完成的质检任务，视觉注意力采用了分块计算与在线Softmax，避免显式生成庞大的注意力矩阵。此外，GDN预填充与因果卷积采用CPU融合算子并行处理，并以FP32维护递归状态，完美兼顾了执行效率与数值稳定性。

提速2.49倍，性能支撑稳定可靠

一系列针对计算与访存瓶颈的硬核优化，带来了明显的性能提升。在12条样例、Batch Size为1的P1严苛测试中，Jev模型的平均前向耗时从原生算术基线的11.54秒大幅降至4.63秒，实现了约2.49倍的显著提速。这为此芯P1上的离线文档解析与质检，提供了坚实、可验证的性能支撑。

精度高度对齐: 端侧推理贴近“原生级”精准

测试结果显示，在严苛的OCRBench v1基准测试（覆盖文字识别、场景文字理解、文档问答等核心任务）中，此芯科技平台运行MiniCPM-OCR 1.0模型的相对得分差异仅为-0.50%。

这一“几乎无损”的极低差异，意味着经过端侧跨芯适配后，此芯平台可保留模型原生的各项解析与识别能力。这充分证明，此芯端侧算力在实现平稳离线运行的同时，能够稳定可靠地为客户输出精准、高质量的文档处理结果。

开发者速用指南: 一键获取此芯科技专属模型

为了让广大开发者第一时间体验端侧文档解析的魅力，此芯科技联合FlagOS社区，已在魔搭（ModelScope）社区和Hugging Face上线面向此芯科技平台的适配版本。

模型镜像下载：

魔搭社区 (ModelScope):

MiniCPM-OCR-1.0: 

https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-1.0-BF16-arm-FlagOS

MiniCPM-OCR-Jev: 

https://modelscope.cn/models/FlagRelease/MiniCPM-OCR-Jev-BF16-arm-FlagOS

HuggingFace:

MiniCPM-OCR-1.0:

https://huggingface.co/FlagRelease/MiniCPM-OCR-1.0-BF16-arm-FlagOS

MiniCPM-OCR-Jev:

https://huggingface.co/FlagRelease/MiniCPM-OCR-Jev-BF16-arm-FlagOS

结语: 致敬开源生态，共创端侧AI新纪元

大模型向端侧下沉已成行业必然趋势。此次适配落地，不仅验证了此芯科技SoC平台卓越的软硬件协同能力与扎实的算力底座，更彰显了FlagOS在AI底层软件栈领域的深厚造诣。得益于FlagOS前瞻性的架构设计与此芯平台的深度融合，前沿AI技术在端侧的轻量化与平稳落地正被极大加速。

未来，此芯科技将继续深化与FlagOS的生态协同，持续发挥底层Arm架构优势，不断突破端侧大模型的效能瓶颈，共同为千行百业构筑安全可控的本地智能防线，让大模型真正安全、高效地触手可及。