近日,此芯科技与百度联合发布基于此芯P1处理器和百度ERNIE 4.5的Edge AI端到端解决方案,实现国产高性能SoC与大模型的深度协同。该方案以此芯自研P1处理器(6nm制程/12核Armv9 CPU/30TOPS算力NPU/45TOPS综合算力)为异构计算基座,深度融合百度ERNIE 4.5 技术生态,成功构建从芯片层到模型层以及应用层的全栈闭环,为边缘端侧AI的落地树立全新标杆。
一、ERNIE 4.5开源即落地,端侧性能卓越领先
在ERNIE 4.5开源首日,此芯科技率先完成多个模型端侧适配,实测性能实现两大突破:
百亿级模型流畅运行:
ERNIE-4.5-21B-A3B(210亿参数) 在此芯P1处理器上推理速度近20tokens/s,可支撑复杂语义理解与多轮对话场景;实时生成100字文本仅需5秒。
超轻量化模型极致效能:
ERNIE-4.5-0.3B(3亿参数) 推理速度飙升至 122 tokens/s,为移动/IoT设备提供“无感级”AI交互体验。
此外,依托NPU的异构加速,PaddleOCR经量化后,可以有效识别多语种文本,在端侧AI的部署实现数据零外传、响应超低延迟,可以为金融、医疗、政务等高敏场景提供安全智能基座。
二、加码ERNIE 4.5应用引擎,重构终端AI体验
基于此芯P1处理器与ERNIE 4.5,双方构建端侧AI全栈解决方案:
技术领域 | 应用成果 | 核心亮点 |
智能对话 | ERNIE-4.5聊天机器人 | 基于CPU的KleidiAI指令集加速,以及基于GPU的Vulkan后端加速 |
机器视觉 | PaddleOCR多语种文本识别 | NPU 50ms 推理速度 |
知识管理 | 端侧个性化RAG系统 | 星河社区精调 + 本地私有化部署 |
图:Chatbot
此芯科技和百度文心、飞桨的“硬件+模型”协同优化,融合了异构计算架构、量化压缩技术、端云协同推理,实现动态分配计算任务,提高复杂场景的响应速度。
此芯P1处理器是此芯科技推出的首款SoC芯片,异构集成Armv9.2指令集的12核心CPU、10核心Immortalis G720 GPU和30TOPS(INT8)算力NPU。此芯P1处理器制程工艺为6nm,综合算力45TOPS(INT8),支持最大64GB共享内存,提供高带宽IO,可满足端侧AI方案的高性能和扩展性要求。此芯科技聚焦于高性能桌面PC产品、智能座舱、具身智能、边缘计算等通用智能解决方案。
此芯科技与百度将持续深化合作,包括ERNIE 4.5更多模型 在此芯P1处理器上的轻量化适配、联合举办开发者大赛,共建大模型端侧开源社区,赋能广大开发者,并推动AI产业的普惠化进程。
此芯产品采购渠道:https://radxa.com/products/orion/o6/#buy
ERNIE 4.5下载地址:https://github.com/PaddlePaddle/ERNIE
【直播预告】
此芯科技联合百度共推边端AI异构算力解决方案
此芯科技出席2025 CCF中国开源大会
荣誉时刻 | 此芯P1蝉联维科杯·OFweek人工智能行业优秀创新力产品奖
WAIC 2025 | 此芯科技亮相世界人工智能大会,以AI之力勾勒美好未来
此芯科技市场快讯 (2025年7月)
开源共建,此芯科技精彩亮相上海开源创新菁英荟
荣誉时刻 | 此芯科技荣登2024-2025年度中国IC独角兽新锐企业榜单
宁波市人大常委会副主任、余姚市委书记傅贵荣一行到访此芯科技