– 🌐 大型语言模型（LLM）因在文本生成、语言理解和文本摘要等任务中的卓越表现而备受欢迎，但其庞大的模型参数却需要大量内存和专用硬件。
– 🧮 为了降低推断所需的计算功率，Intel的研究人员提出了一种有效的方法，支持自动的INT-4权重量化流程，可以在CPU上高效部署LLM。
站长之家 11月10日 消息:大型语言模型（LLM）因其在文本生成、语言理解和文本摘要等各种任务中的卓越性能而备受瞩目，但它们庞大的模型参数却需要大量内存和专用硬件，这使得部署这些模型变得相当具有挑战性。
为了降低推断所需的计算功率，研究人员通常采用权重量化等方法，即减少人工神经网络的权重和激活函数的精度。其中，INT8和仅权重量化是一些改进推断成本的方法。然而，这些方法通常针对CUDA进行优化，可能不适用于CPU。
Intel研究人员提出了一种有效的方法，可以在CPU上高效部署LLM。他们的方法支持自动的INT-4仅权重量化流程，即将低精度应用于模型的权重，而将激活函数的精度保持较高。此外，他们设计了一个特定的LLM运行时，具有高度优化的内核，可以加速CPU上的推断过程。
他们的权重量化流程基于Intel神经压缩器，并允许在不同的量化配方、粒度和组大小上进行调整，以生成满足准确性目标的INT4模型。然后，将模型传递给LLM运行时，这是一个专门设计用于评估量化模型性能的环境。该运行时已经设计用于在CPU上高效推断LLM。
在他们的实验中，研究人员选择了一些参数大小不同的流行LLM，范围从7B到20B。他们使用开源数据集评估了FP32和INT4模型的性能。他们观察到，在所选数据集上，量化模型的准确性几乎与FP32模型相当。此外，他们对下一个标记生成的延迟进行了比较分析，并发现LLM运行时比ggml-based解决方案性能提高了多达1.6倍。
研究论文提出了解决LLM推断在CPU上的一个最大挑战的方法。传统上，这些模型需要像GPU这样的专用硬件，这使它们对许多组织来说不可及。这篇论文提出了INT4模型量化以及专门的LLM运行时，以在CPU上高效推断LLM。
在一组流行的LLM上进行评估时，该方法表现出比ggml-based解决方案更具优势，并且在准确性上与FP32模型相当。然而，还有进一步改进的空间，研究人员计划推动在个人计算机上实现生成式人工智能，以满足对人工智能生成内容不断增长的需求。
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
中国的研究人员近期提出了一项名为ControlLLM的创新框架，旨在增强大型语言模型在处理复杂的现实任务时的表现。尽管LLMs在处理自主代理的规划、推理和决策方面已经取得了显著进展，但在某些情况下，由于用户提示不清晰、工具选择错误以及参数设置和调度不足，它们可能需要辅助工具。ControlLLM整合了各种信息源，以生成基于执行结果的全面有意义的回应。
最新研究来自ISTA的科学家提出了一种创新的模型量化方法，称为QMoE，可以将庞大的1.6万亿参数SwitchTransformer压缩到令人难以置信的160GB以下，每个参数仅占用0.8位。这一方法实现了高达20倍的压缩率，为解决大型模型的高昂成本和内存需求问题提供了新的解决方案。这一创新性研究将有望为未来的深度学习和大型模型研究开辟新的方向。
OpenAI曾计划开发一款名为“Arrakis”的全新AI模型，旨在提高AI推断的效率，使其更经济实惠。由于质量问题，该公司不得不停止了这一项目的开发。“Arrakis”将部分采用合成数据进行训练，计划明年发布。
在人工智能领域，改进文本到图像生成模型的研究一直备受关注。DALL-E3作为这个领域的杰出代表，因其出色的文本描述生成图像的能力备受瞩目。这种策略不仅提高了DALL-E3的性能为复杂的文本到图像生成技术的持续发展奠定了基础。
布朗大学的计算机科学研究人员发现了OpenAI的GPT-4存在的安全性问题。通过使用不常见的语言，如祖鲁语和盖尔语，他们成功绕过了GPT-4的限制性设置。尽管他们意识到这一研究可能会给网络犯罪分子提供想法，但他们仍然认为将这一漏洞公之于众是必要的，因为利用现有的翻译API轻松实施这些攻击，因此那些试图绕过安全防护的恶意行为者最终会发现这一漏洞。
HuggingFace研究人员最近解决了在资源受限环境中部署大型预训练语音识别模型的问题。他们通过创建一个庞大的开源数据集，使用伪标记的方法，提炼出了Whisper模型的较小版本，称为Distil-Whisper。尽管WER稍高，但distil-medium.en模型提供了更直接的推理和实质性的模型压缩。
大型语言模型如ChatGPT和Bard在全球范围内引起了广泛的关注，众多公司投资数百万美元用于开发这些人工智能工具一些领先的AI聊天机器人的估值已达到了数十亿美元。这些LLM主要被应用于AI聊天机器人，它们通过整合互联网上的大量信息来学习和为用户提供请求的答案，这些请求通常被称为“提示”。”这项研究为我们提醒了虽然AI技术带来了巨大的机会，但也伴随着一系列潜在的威胁，因此必须谨慎行事。
产品经理和设计师之间需要紧密协作，如果使用的工具不互通，就只能通过互传文件来沟通确认，协作效率自然不高。MasterGo是一款集成了设计、原型、交付能力的在线协作工具，产品经理和设计师们只需使用MasterGo就能在生产和沟通中高效协作。以上便是产品经理与设计师在MasterGo上高效协作的方式了，如果你有更多产品经理和设计师在MasterGo中高效协作的技巧，欢迎沟通交流。
ChatGPT第一次让普通人真正感受到了AI尤其是生成式AI魅力。AMD、Intel也都在致力于让PC笔记本，这一拥有广泛群众基础的计算载体，插上AI的翅膀都采用了极为类似的路线，可谓英雄所见略同，但实际表现又有所不同。尤其是Intel，作为行业执牛耳者，凭借着完善的软硬件平台、强大的生态影响力，产品未出就已经打下了广泛且深入的群众基础，甚至也能反哺AMD，带动整个行业的良性循环发展。
加利福尼亚初创公司DataGPT于近日发布了一款名为AI分析师的新产品，旨在帮助企业更轻松地理解其数据，并以自然语言进行交流。这一聊天机器人不仅能够回答有关数据的是什么和为什么的问题能执行数百万次查询和计算，以确定最相关和有影响力的见解。DataGPT的AI分析师为企业提供了一种更便捷、高效的数据洞察获取方式，通过自然语言交流，降�
EnglishXYZ是一款专为英语学习者设计的插件，提供双语字幕、快捷查词和收藏等功能，让用户将YouTube打造成专属的英语学习教室。插件还具备强大的查词功能，支持快速显示释义、详细信息查阅以及单词收藏。同时，后台系统能记录用户收藏的所有单词，方便随时复习。EnglishXYZ定位于帮助用户在观看视频的同时轻松学习英语。
Fridgtain: Grocery Genius是一款厨房管理APP，通过创建数字版冰箱，添加食材，设置保质期，提供清单、库存、过期提醒等功能，帮助用户更好地管理食材，避免浪费。升级到Fridgtain PRO版本，用户可以享受AI扫描等高级功能，支持多个数字版冰箱，适合更大的家庭使用。该产品定位于家庭用户，价格免费，PRO版本年费44.99欧元，月费3.99欧元。
Stylefie AI是一款利用人工智能技术，能够从用户上传的照片中生成多种独特头像风格的产品。用户只需上传照片，即可在几秒钟内享受到超过20种独特的头像风格，为用户的照片增添创意和个性。产品定位于个人用户，提供简单易用的头像风格生成服务。
Roast My Room是一款AI室内设计评估工具，用户可以上传房间图片，获取AI评估和室内设计建议。它可帮助室内设计师、房地产经纪人、DIY爱好者和家具商店提供实时设计选择、展示潜在房屋潜力、节省时间和提高销售额。
Roast your email是一款基于GPT-4 Vision的产品，通过上传邮件截图，可以获取对邮件的调侃和嘲讽。它能够帮助用户在轻松的氛围中检查邮件内容，提供一些有趣的建议和评论。产品定位于提供娱乐和轻松的体验。
GiftGPT是一款基于个性化算法的礼物推荐平台。我们的独特算法根据收礼人的兴趣、年龄和关系量身定制礼物想法，确保您每次都能找到完美的礼物。我们的专家团队精心挑选来自信任来源的高质量礼物，让您可以从市场上最佳的选择中挑选。无论您是在寻找贴心的生日礼物还是豪华的周年纪念惊喜，我们都有适合各种预算和场合的礼物想法。
promo.ai是一款强大的邮件通讯生成工具，能够将您的最新内容转化为令人惊叹的每周/每月通讯。它能够跟踪您的最佳内容，使用智能算法选择最佳内容并在您需要时生成通讯。该产品提供自动设计、品牌定制、无需编码、集成分析等功能，同时提供透明的定价方案。适用于不同规模的邮件通讯需求，并提供高效的客户支持。
ArtSpace.ai是一款强大的图像助手，结合了人工智能的创造力与艺术灵感，能够帮助用户轻松绘制美丽的图像和设计作品。其功能包括无限画布、替换和填充功能，支持生成高分辨率图像，且不设水印，可商业使用。价格为一次性支付297美元的终身许可。ArtSpace.ai旨在激发用户的创造力，提供14天无条件退款保障。
Сhatterbox one是一款AI聊天工具，专为OnlyFans和Fansly平台设计，能够大幅提高与粉丝的聊天互动速度。通过智能AI技术，帮助用户在与多名粉丝同时聊天时更快地回复消息，提高与免费粉丝转化为付费粉丝的比例。同时，产品定价灵活，提供免费试用和不同套餐选择，满足用户不同需求。智能机器人支持英语和俄语，用户可通过官方网站或Chrome插件进行试用和购买。
Talk to PDF是一个在线文档朗读工具。它可以自动将PDF、PPT、Word等文档中的文字转成语音朗读出来,使阅读体验更加便捷、有趣。用户只需上传文档,Talk to PDF就可以生成语音版本,支持可调节语速、自动滚屏等功能。适合需要大量阅读文档的用户,如学生、老师、白领等。
Stilo是一款AI 助力的日记应用，通过智慧和建议加速个人成长。它会随着时间了解您，解锁其他工具无法匹敌的见解。Stilo不再只是一个基本的思想存储库，它连接各种信息，每天呈现有用的见解。高绩效者需要的不仅仅是显而易见的通用建议。在您写作的过程中，Stilo会推荐书籍、播客节目和深刻的引言，帮助您深入挖掘。
OmniDock是专为Facebook、Circle.so和Slack打造的，基于人工智能技术的私人社区潜在客户管理工具。用户可以监控社区动态，第一时间与潜在客户互动，轻松安排发布内容，并授权团队成员进行监控、发布和互动。产品定位于帮助用户在私人社区中发现潜在客户，并提供多种付费和免费服务。
Thunderflow将GPT的力量带到您的计算机和所有应用程序，只需点击快捷方式即可。它能在不切换上下文的情况下直接通过Thunderflow操作来自任何应用程序的所有文本。您可以通过简单的快捷键激活快速操作面板，无需打断工作流程即可在选定的文本上快速运行预定义或自定义操作。将您的文本立即转换为任何地方，无缝集成到您的桌面。可实时查看Thunderflow将输出流直接注入任何文本字段或编辑器，与任务无缝融合。选择多个模型，根据预定义操作的复杂性或需求。定义输出样式，控制生成文本的最终外观。现已支持Windows和Mac，Linux支持即将推出。
Labescape Prompt生成器可以帮助用户生成高级的AI prompt,提高AI的使用效率。该产品提供了针对ChatGPT、Midjourney和Dall-E的专业化prompt生成功能,用户可以快速获取适合不同场景的高质量prompt。该产品还提供了每月10次免费的prompt生成额度。
Screenshot2Code是一款利用新的GPT-Vision API技术，可以将截图中的代码自动识别并转换为实际可运行的代码，极大提高开发效率。该产品定位于提升开发者的生产力，定价灵活，根据月度使用量收费。
Feedeo是一款AI动态视频互动平台，可以通过上传照片、填写脚本轻松生成栩栩如生的视频。用户可以利用丰富的交互组件收集用户反馈，然后广泛分享视频以增加用户参与度和收集反馈。产品定位于营销、销售、招聘、电子商务和教育等领域。价格分为Starter和Premium两个方案，满足不同用户需求。
MealByMeal 是一款无需应用程序的卡路里追踪工具，用户可以通过文本方式记录所吃食物和体重，同时提供每种食物的卡路里和宏量评估。使用 ChatGPT 和其他大型语言模型技术，能够为更多食物提供估算卡路里和宏量，准确度随提供信息的多少而提高。
Squibler是一个人工智能辅助写作的在线软件平台。它可以为用户生成故事思路、增强人物塑造、写出通顺的句子、帮助克服写作障碍,还能以前所未有的速度写出书稿和剧本。主要功能包括AI辅助写作、AI元素生成、AI图像生成、AI视频生成、目标跟踪、项目管理、协作等。适用于小说、书籍、剧本、故事等创作。
BooksByAI是一款用人工智能创作图书的产品，用户可以提供想要阅读的图书描述，AI会根据描述自动生成图书内容。用户还可以选择语言和图书类型进行定制，体验更加个性化的阅读乐趣。BooksByAI涵盖各种类别的图书，涉及商业、健康、科技、艺术、教育等多个领域，为用户提供丰富的阅读选择。
GhostWryter是一个专为Google Docs设计的人工智能写作助手，帮助用户轻松撰写SEO文章、博客帖子和其他营销内容，以无与伦比的条件自动生成高质量内容。用户可以使用OpenAI许可密钥直接生成文本，每1,000个令牌（OpenAI的单位）仅需支付0.02美元（2美分），最先进的Davinci模型适用。用户可以为1美元生成约37,500个字。GhostWryter能够自动化您的写作，节省时间和金钱。
