Mistral AI发布新一代开源模型Mistral Large 2;OpenAI今年亏损50亿美元 | AI头条
AI科技大本营 2024-08-22 12:01:02 阅读 68
整理 | 王启隆
出品 | AI 科技大本营(ID:rgznai100)
一分钟速览新闻点!
Llama 3.1 作者:网络上的文本基本都是“狗屎”
撞车 Llama 3.1,Mistral AI 发布新一代开源模型 Mistral Large 2
一年亏损 50 亿美元,OpenAI 或面临严重财务危机
马斯克询问用户是否应向 xAI 投资 50 亿美元
微软必应推出 AI 驱动的生成式搜索重大更新
Stability AI 推出 Stable Video 4D 模型
科学家警告:使用合成数据训练 AI 或面临“模型崩溃”
Llama 3.1 在 54 天预训练期间遭遇 417 次意外中断
Open-Sora Plan v1.2 发布
中国信通院:我国算力总规模全球第二,超算数量位列全球第一
苹果迎接 AI 浪潮,酝酿为 iPhone 改用 QLC NAND:存储上限至 2TB
马斯克的 「世界最强大 AI 数据中心」 目前由 14 台移动发电机供电
消息称 Alexa 四年巨亏 250 亿美元,亚马逊豪赌生成式 AI
快手可灵 AI 全面开放内测
国内外 AI 要闻
Llama 3.1 作者:网络上的文本基本都是“狗屎”
Meta AI 研究员 Thomas Scialom 领导了 Llama 2 和 Llama 3 训练后工作。近日,Latent Space 对其进行了采访。Thomas Scialom 称,网络上的文本都是“狗屎”,不值得投入功夫进行训练,Llama 3 后期训练完全依赖 Llama 2 生成的纯合成数据,未用人类书写答案。他们还讨论了合成数据在代码生成、数学推理等方面的应用,以及强化学习与人类反馈(RLHF)相关情况。此外,Meta 已在 6 月开始训练 Llama 4,重点围绕智能体,多模态版本将稍后发布。
撞车 Llama 3.1,Mistral AI 发布新一代开源模型 Mistral Large 2
今日,AI 竞赛继续加速,法国 AI 初创公司 Mistral AI 发布新一代开源模型 Mistral Large 2。该模型拥有 1230 亿个参数,在多个方面表现出色,支持多种语言和编程语言。虽然参数量低于 Llama 3.1,但性能接近,且在多项基准测试中与其他尖端模型媲美。它具有更大的上下文窗口,支持高级函数调用和检索等新功能,但只限于研究和非商业用途,商业使用需获取许可证。其在代码与推理、指令遵循与对齐、语言多样性、工具使用与函数调用等方面有突出表现,用户可通过特定平台和方式进行试用,Mistral AI 还在进行产品整合和与云服务提供商合作。
项目链接:https://huggingface.co/mistralai/Mistral-Large-Instruct-2407
一年亏损 50 亿美元,OpenAI 或面临严重财务危机
据 The Information 最新报道,OpenAI 自 2022 年 11 月推出 ChatGPT 后发展迅猛,但如今面临困境。新报告指出,OpenAI 今年可能亏损 50 亿美元,未来 12 个月现金储备或耗尽。其成本高昂,包括 AI 训练、推理及人员开支。报告基于内部机密数据和人士消息,引发对其需额外融资的担忧。OpenAI 2015 年创立,2020 年转为商业实体,如今在将成功转化为收入方面遭遇难题,商业模式面临考验。
马斯克询问用户是否应向 xAI 投资 50 亿美元
7 月 23 日,路透社报道,特斯拉 CEO 埃隆·马斯克在社交媒体平台 X 上发起一项民意调查,询问用户特斯拉是否应向其人工智能初创公司 xAI 投资 50 亿美元,早期投票显示多数人赞成。马斯克称董事会批准和股东投票是必要的,此调查只是试水。在特斯拉的收益电话会议上,马斯克表示 xAI 有助于推进全自动驾驶和建设新的数据中心,还称有机会将 xAI 的聊天机器人 Grok 与特斯拉软件集成。近 3 小时后约 38.6 万人参与投票,70%赞成投资。特斯拉和 xAI 未立即回应评论请求。
微软必应推出 AI 驱动的生成式搜索重大更新
近日,微软对必应网络搜索进行了更新,以人工智能驱动的答案彻底改革搜索结果。新的搜索结果页面将包含详细的人工智能生成的答案,随后是答案所援引的精选来源。传统搜索结果仍会在右侧边栏与人工智能生成的结果一同出现。目前该新体验仅对一小部分用户可用。页面顶部将由大小语言模型生成的答案,其审查了数百万个来源以提供最准确答案,并可细分文档索引。必应搜索页面还会列出人工智能生成文本的来源,微软称考虑到了人工智能对网站流量和读者群的影响,新体验维持了与传统搜索相同的网站点击量。微软不是唯一在搜索页面添加人工智能生成结果的公司,谷歌也有类似操作。新的必应生成式搜索体验正逐步向小部分用户推出,未来几个月可能会覆盖更多用户。
Stability AI 推出 Stable Video 4D 模型
Stability AI 宣布推出 Stable Video 4D 模型,这是一款具有创新性的 AI 模型。它能够将单个输入视频转换为八个不同角度的新视角视频,在约 40 秒内生成 8 个视图的 5 帧视频。该模型具有广泛的应用潜力,包括游戏开发、视频编辑和虚拟现实等领域,目前已在 Hugging Face 上提供。Stable Video 4D 是 Stability AI 的首个视频到视频生成模型,为用户带来了更高的通用性和创造力。此外,为了详细介绍该模型的开发过程,还发布了一份全面的技术报告,涵盖了方法论、挑战和取得的突破。Stability AI 团队将继续致力于改进和拓展该模型的能力,为各个行业带来新的创意和创新途径。
科学家警告:使用合成数据训练 AI 或面临“模型崩溃”
据 TechCrunch 报道,英国和加拿大的研究者发表在《自然》的论文指出,AI 多次基于自身生成的数据训练存在风险,可能导致“模型崩溃”。模型本质是模式匹配系统,若过度依赖常见输出并基于大量 AI 生成内容训练,会偏离真实数据分布。虽有缓解方法,但未标准化,且企业可能不愿分享信息。未来训练新版大语言模型或更困难。
Llama 3.1 在 54 天预训练期间遭遇 417 次意外中断
昨日公开的 Llama 3.1 的 100 页论文显示,Llama 3 405B 模型在 54 天的预训练期间遭遇了 417 次意外中断,挑战巨大。其中,GPU 故障达 148 次,占比 30.1%;GPU HBM3 内存问题 72 次,占 17.2%;软件 Bug 54 次,占 12.9%。此外,网络交换机/线缆、主机维护、GPU SRAM 内存等方面也存在不少问题。这表明训练大模型在工程上仍面临众多困难,Meta 的努力值得致敬。
Open-Sora Plan v1.2 发布
近日,由北大-兔展 AIGC 联合实验室共同发起、使用国产 AI 计算系统(华为昇腾)进行完整训练和推理的开源项目 Open-Sora Plan v1.2.0 正式发布。此次更新引入了新的 3D 全注意力架构,极大提升了对物理世界的理解能力,同时改进了从文本生成视频的效果。通过新架构和优化的 VAE 结构,视频生成的清晰度和一致性得以提高。新的 3D 全注意力架构解决了以往无法同时处理空间和时间维度的难题,优化后的 CausalVideoVAE 结构还提高了模型的推理速度和性能。Open-Sora 一直致力于复刻 OpenAI Sora 模型,并在不断创新和优化的道路上前进,为视频生成领域带来了新的可能。
项目链接:https://github.com/PKU-YuanGroup/Open-Sora-Plan
中国信通院:我国算力总规模全球第二,超算数量位列全球第一
中国信息通信研究院发布的《中国算力中心服务商分析报告(2024 年)》显示,截至 2023 年,全国在用算力中心机架总规模已超过 810 万标准机架,算力总规模达到 230EFLOPS,位居全球第二。预计未来五年,中国算力中心服务市场将以 18.9% 的复合增速持续增长,预计 2027 年市场规模达 3075 亿元人民币。智能算力规模占整体算力规模的比例提高到 25.4%,同比增长 45%,随着 AI 大模型的快速发展,智能算力需求呈现爆发式增长态势。我国超算中心市场规模全球领先,超级计算机数量继续位列全球第一,达到 226 台,占总体份额超过 45%,共有 14 座国家级超算中心。
苹果迎接 AI 浪潮,酝酿为 iPhone 改用 QLC NAND:存储上限至 2TB
苹果公司计划在 2026 年将 QLC NAND 闪存用于 iPhone 产品中,实现 2TB 的存储上限。QLC NAND 每个单元可存储 4bit 数据,存储密度比 TLC NAND 高 33%,但速度较慢且耐用性较差。苹果正加速推进 QLC NAND 换代,用于存储大型语言模型,以改善 Apple Intelligence 的表现。
马斯克的 「世界最强大 AI 数据中心」 目前由 14 台移动发电机供电
埃隆・马斯克的孟菲斯超级计算集群已上线,使用了大量液冷 H100 GPU,电力需求巨大。由于与当地电网供电协议未定,目前依靠 14 台移动发电机供电。分析师 Dylan Patel 指出,该设施需要的电力远超现有供应,但 xAI 场地正在建设中的 150 兆瓦变电站预计将于 2024 年第四季度完工。此外,移动发电机的使用也引发了关于数据中心电力消耗和对全球变暖影响的讨论。马斯克正努力推动 xAI 成为 AI 领域的领先者,但需要过渡到更清洁的能源。
消息称 Alexa 四年巨亏 250 亿美元,亚马逊豪赌生成式 AI
亚马逊的语音助手 Alexa 业务在 2017 年至 2021 年间亏损达到 250 亿美元。尽管公司推出了 50 万台 Alexa 设备,但该业务一直未能实现盈利。亚马逊对 Alexa 硬件部门采取了非盈利的财务管理策略,并寄希望于通过服务收费来弥补亏损,但用户对免费服务的依赖使得这一策略效果不佳。尽管亏损,亚马逊依然投入巨资研发新产品,但这些产品多数未能成功。亚马逊计划推出订阅制的生成式 AI 版 Alexa,但面临用户对订阅服务疲劳和 AI 技术不成熟的双重挑战,同时还有隐私问题影响声誉。业内认为这是亚马逊的一次高风险尝试,其成功不仅取决于技术突破,还需改变用户认知和克服众多挑战。
快手可灵 AI 全面开放内测
快手视频生成大模型可灵 AI 宣布基础模型升级,并全面开放内测,同时正式上线付费会员体系。快手可灵 AI 自 6 月 6 日发布以来已经多次升级迭代,本次升级后画面构图、色调、以及美观程度显著提升。此外,运动表现也明显提升:升级后的基础模型在运动幅度、运动准确性等方面都有显著增强。
据介绍,快手可灵 AI 内测服务现已全面开放,用户每日登录都可免费获得 66“灵感值”,可用于兑换可灵 AI 平台内指定的功能使用权或增值服务(可生成约 6 个免费视频)。
付费会员体系也同步上线:
黄金月卡:66 元,对应 660 灵感值,首周优惠价 33 元
铂金月卡:266 元,对应 3000 灵感值,首周优惠价 133 元
钻石月卡:666 元,对应 8000 灵感值,首周优惠价 333 元
会员除可获得“灵感值”外,还可使用高表现模式、视频延长、视频生成尾帧参考、视频运镜支持大师运镜等专属功能。
夏日炎炎,「AI 科技大本营」准备了时尚T 恤、精选图书、精品PPT 等一大波好礼等你来领。扫码回复“抽奖”立即领取!
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。