2024年9月20日

近日,中科创达凭借其在终端、边缘计算领域的多年技术沉淀以及在大模型领域的创新探索,利用模型压缩、分布式以及张量并行技术,成功在搭载了模型的稳定运行,成为业内首家取得此突破的大模型企业。这一创举将使得端侧设备能够运行更大参数的模型,同时提高了端侧设备的推理速度,为大模型在端侧的应用奠定了坚实的基础。

自今年3月份ChatGPT-3对外开放以来,大模型及其应用以极其惊人的发展速度席卷全球,由此带来了对于算力需求的急速攀升。云端算力面临成本和供给压力,无法满足AI算力需求,端侧AI为这一难题提供了解决方案。随着高通、Intel等芯片厂商陆续发布具有更高算力并支持生成式AI的终端芯片,AI PC时代拉开序幕。

AI PC作为终端、边缘与云技术融合的创新产物,具有成本、时延和隐私方面的天然优势,可以作为云端算力的补充。在即将到来的AI PC时代,中科创达将能够充分发挥自身在终端、操作系统、边缘计算、软件以及生态合作方面的优势,助力品牌商和开发者抓住行业转型的契机,为终端用户带来在办公、娱乐、学习等多场景下的更为高效便捷的体验。

此次中科创达的成功实践不仅验证了13B大模型在端侧的落地,也为大模型在边缘的应用打开了新的可能性。以往,大型模型主要在云端进行训练和推理,而现在,边缘设备也能够胜任更大参数的模型。这将为各行各业带来更多的机会和挑战,无论是语音识别、图像处理还是自然语言处理,都能够受益于这一创新。

未来,AI将以端云协同的模式,即云端进行模型训练,而推理则集中在离数据产生距离更近的端侧及边缘侧进行,有效缓解AI算力不足的需求和缺口。由此加速大模型应用在智能驾驶、具身智能、智能家居、智能物联网等场景的落地。

体系结构( Enterprise Cloud Service Architecture,CSA)风格的通用和抽象参考

鼠标变得如此自由? 最近对一款基于陀螺仪的鼠标进行了拆解,这款名为ProGoGyrotransport的鼠标是由Gyration公司生产的,价值150美元(其中包括一个FreeSpac

的关键,通过与边缘基础设施等相结合,边缘开放有助于电信运营商在5G生态系统中获得连接以外的价值。近日,爱立信推出边缘开放平台,通过简单、丰富的边缘应用API为

免费浏览到国络。但是,非常不稳定,速度也没有保障,经常会出现短线的情况,数据也很不安全,这类软件多针对

发表评论

邮箱地址不会被公开。 必填项已用*标注