硬核丨2024文本生成类AI产品横向评测报告
联想应用商店 2024-08-27 16:01:46 阅读 94
文本生成/写作”作为使用最高频的AI场景,各类产品如雨后春笋般出现。我们针对办公/学习的写作场景进行了全面系统的评测。希望此次评测结论能够帮您在工作学习中使用AI应用提效。
本次评测对象包含文心、通义、kimi等模型厂商及笔灵、迅捷、秘塔等应用厂商共13款产品,评测内容包含短文本(10字上线,含标题、Slogan、广告语)、中文本(200字上下,含push通知、社交媒体广告、长文本缩写)、长文本(800字以上,含新媒体文章、活动策划)
# Part.1 评测结论
文心一言、通义千问、Kimi等产品综合能力最强。其中短文本能力最强的是文心一言、中文本能力最强的是通义千问、长文本能力最强的是kimi&通义千问。万能小in的中长文本排名均较靠前,但由于其具备活动策划、论文写作、公文写作等多类模板,长文本场景下使用体验更佳。
迅捷、笔灵、秘塔、光速等产品已经为用户预置好了各类prompt,体验较好,易上手,但推测这类产品无法获取模型厂商的最新版本,因而生成内容的意图理解精准度和生动性相对较差。
备注:文本生成主要包含生成、润色、总结三方面能力,本次测评集中于生成和润色能力。另外,论文写作、视频剧本、标书写作、公文写作、简历润色等场景较为垂直的专业领域,我们将在后续新开一期进行评测。
当然,每个AI产品都有自己的优势特点和不足之处,我们所做的是尽可能将评测情况展示给大家,请读者根据实际效果,进行自我判断,选择符合自己AI文本生成产品。
# Part.2 评测方法
1.评测内容
(1)短文本(20字以内):标题、Slogan、广告语
(2)中文本(50-200字):push文案(社群、产品通知)、微博小红书等社交媒体广告、邀请函
(3)长文本(800-5000字):新媒体文章、活动策划
2.评分维度
(1)内容准确性:与提供的信息或上下文一致,指令遵循良好。逻辑结构清晰,主题观点表达明确。文案各个部分之间能够有机联系。(0-2分)
(2)文案效果:适用于特定的场景或目标受众。具备一定程度的创新性,以提升文案的吸引力。(0-2分)
*备注:部分产品有针对不同文本类型的写作模板,优先选择使用该模板,无此模板则选择AI对话模式,既无模板又无AI对话模式评为0分。
3.评分规则
总分4分,多人评分取均值。优秀(≥3.5)、良好(2.5-3.5)、一般(1.5-2.5)、很差(<1.5)
# Part.3 产品推荐
/ 短文本生成 /
10字上下,应用场景主要为生成标题、Slogan、广告语
推荐产品
文心一言&联想小天
文心一言(英文名:ERNIE Bot)是百度全新一代知识增强大语言模型,文心大模型家族的新成员,能够与人对话互动、回答问题、协助创作,高效便捷地帮助人们获取信息、知识和灵感
优势介绍
中文意图理解能力超强,指令遵循准确,生成的文案内容生动、有吸引力。
获取路径
联想应用商店、联想浏览器新标签页AI专区(如下图)或直接使用联想小天
Query展示
根据以下文字生成5个公众号标题,要求有吸引力,20字以内:智能体小程序开放接入,可获得联想重点扶持,PC、移动、pad多端曝光,享受亿级流量。
文心4.0 answer
【重磅】联想扶持智能体小程序,亿级流量等你来!
智能体小程序开放,联想亿级流量扶持计划启动!
多端曝光!联想智能体小程序,助你享受亿级流量
抢先接入!智能体小程序,联想重点扶持,流量爆棚
亿级流量加持!联想智能体小程序开放接入啦!
文心3.5 answer
● 联想扶持,智能体小程序接入赚翻天!
风格:网络热梗,运用现代流行的网络热词和夸张表达,吸引读者眼球。
● 联想开放小程序,亿级流量等你来拿!
风格:简洁明了,直接点明主题,突出联想的开放性和亿级流量的吸引力。
● 智能体小程序新机遇,联想助力多端曝光
风格:权威专业,以专业、权威的口吻介绍智能体小程序的新机遇和联想的扶持。
● 联想邀你共舞,小程序流量盛宴开启
风格:感性浪漫,运用感性的语言和浪漫的修辞,吸引那些追求情感和梦想的读者。
其他应用生成效果对比
●通义千问:"一键接入,亿级曝光!智能体小程序开放,联想助你跨屏赢在起点!"
● 火山写作:联想智能体小程序助力创新型中小企业,享受IT设备采购、运维、办公软件和方案支持等业务支持!
● 抖音豆包:智能体:联想扶持,多端流量盛宴
● 智谱清言:“智能体小程序,联想赋能,让你的应用无处不在!”
● 天工AI:抓住机遇,智能小程序助你一臂之力!
● kimi:联想扶持,智能小程序多端曝光!
● 秘塔:多端曝光机会,开发者必看
● 迅捷:享受亿级流量!联想扶持智能体小程序,赶快行动!
● 笔灵:联想智能体小程序开放,你准备好了吗?
● 光速:亿级流量曝光,智能体小程序多端接入,错过等一年!
● 万能小in:【多端曝光】智能体小程序接入,联想助力亿级流量!
/ 中文本生成 /
200字上下,应用场景主要为生成push通知、社交媒体广告、长文本缩写
推荐产品
通义千问
工作生活学习的全能智慧伙伴,超长文本解析、实时会议记录、代码生成、文案润色、角色陪伴、旅行规划,皆信手拈来,一"问"解决多元需求
优势介绍
生成内容精准,风格遵循良好,逻辑清晰。
获取路径
联想应用商店、联想浏览器新标签页AI专区或联想小天
Query展示
请根据以下Legion zone的产品功能介绍,生成5条用户Push文案,要求最多100字,文案包括标题和正文,要求文案有吸引力,能够吸引用户查看文案,风格幽默搞怪无厘头。
通义千问 answer
● 🚀【野兽出笼,冷静应对!】
"打游戏还在被卡顿困扰?Legion zone启动野兽模式,性能全开,秒变游戏圈大魔王!监控小助手实时看护,温度飙升?风扇提速,冷静如初!游戏战场,由你主宰!"
● 🎮【独显在手,天下我有!】
"智能显示?No no no,独显模式才是王道!Legion zone一键切换,画面流畅到飞起。加上overdrive超速行驶,辅助瞄准神助攻,妈妈再也不怕我瞄不准啦!"
● 🌀【AI优化大师,懒人必备神器!】
"均衡模式也能火力全开?Legion zone机器学习来助力,自动优化性能,躺着玩都能赢!告别手动调参,让电脑自己变身游戏高手!"
● ⚡【Steam加速,新人福利来袭!】
"新兵报道,加速卡顿say goodbye!Legion zone雷神加速,新人专享免费畅游,快到仿佛开了外挂,但咱这是合法的快感哦!"
● 🌍【Legion社区,玩家集结号!】
"独乐乐不如众乐乐,Legion社区等你来嗨!玩机大神?游戏小白?来这里,交流心得,分享攻略,找到你的游戏灵魂伴侣,咱们游戏天地见!"
评价
语言活泼,“流畅”“瞄准”"外挂’等符合用户使用场景的心理,具吸引力;图标使用恰当符合主题,避免了文案枯燥。
/ 长文本生成 /
800字以上,应用场景主要为生成或润色新媒体文章、活动策划
推荐产品
kimi(Kimi润色能力强,通义千问生成能力强)
你的AI 智能问答助手,文案写作、信息搜索、速读长文样样精通。
优势介绍
意图理解精准,润色能力强。
获取路径
联想小天AI Space、联想电脑管家桌面助手、联想应用商店、联想浏览器新标签页AI专区
Prompt
我有一篇文章需要润色,目标是使文章的风格变得更加活泼俏皮。请保留文章的核心内容和信息,但用更轻松、有趣的语气进行改写。以下是具体的要求:
1.保持核心内容和信息的准确性。
2.使用幽默、轻松的语言,让读者感觉愉快和投入。
3.在适当的地方加入俏皮的评论或比喻,使文章更生动。
4.避免过于正式和专业的词汇和语法结构。
5.润色完成后将所有内容汇总成为一篇完整的文章。
以下是这篇文章:……
Kimi answer
联想小天,智能界的新宠儿,携手有道翻译,带你开启AI应用的奇幻旅程!
想象一下,你的电脑桌面上突然冒出一个会说话的小精灵,它不仅能听懂你的话,还能帮你搞定那些让人头疼的任务。没错,这就是联想小天,一个能说会道、聪明绝顶的个人智能体。在2024年4月18日的联想创新科技大会上,小天首次亮相,就以其超凡脱俗的智能魅力,俘获了无数科技迷的心。
联想智能体小程序,就像是小天的魔法口袋,里面装满了各种神奇道具。无论你是在浏览器里遨游,还是在桌面助手上寻找灵感,只需轻轻一唤,小程序就能为你带来绘画设计、办公提效、学习教育等AI神器,满足你对智能生活的无限想象。
有道翻译,联想小程序商店里的翻译大师
有道翻译,作为联想首批智能体终端的独家翻译伙伴,它不仅是个语言天才,还是个多面手。它支持多种语言互译,无论是AI翻译、母语级润色,还是语法分析、论文去重,有道翻译都能轻松应对。基于子曰教育大模型,有道AI翻译就像是个语言侦探,总能精准捕捉上下文信息,让翻译结果既准确又风趣。
智能体小程序生态,让世界充满AI
联想智能体小程序平台,就像是一个充满魔力的花园,它不仅开放包容,还诚邀各路开发者加入,共同培育这片智能科技的新天地。联想为开发者提供了超亿终端流量支持,还有申请免分润、生态品牌共创等诱人权益,让每个创意都能在这里生根发芽。
联想的硬件和软件矩阵,就像是一个强大的磁场,吸引着巨大的用户流量和潜在的高消费力人群。开发者们,只要你们有创新和实用的智能应用,联想就会提供全面的技术支持和服务,让你们的创意在智能科技的新篇章中绽放光彩。
共创智能生活新时代,邀您加入这场AI盛宴!
所以,亲爱的朋友们,不要犹豫,拿起你的魔法棒,加入联想智能体小序生态,让我们一起创造一个更加智能、更加有趣的生活新时代!
# Part.4 综合能力
/ 通义千问/
优势:生成内容精准,风格遵循良好,逻辑清晰。
/ 文心一言/
优势:中文意图理解能力超强,指令遵循准确,生成的文案内容生动、有吸引力。
/ Kimi /
优势:长文本处理效果好,意图理解精准,润色能力强。
/ 天工 /
优势:短中长文本均流畅、准确、符合逻辑,语意连贯,有一定创新性。
劣势:字数控制欠佳,有时会忽视特定语境和需求,没有拔尖的内容。
/ 质谱清言 /
优势:短文本和长文本都流畅、准确、符合逻辑,语意连贯。
劣势:中文本表现较差,语言平淡、冗长,缺乏创新性,生成的新媒体文案与平台调性不符。
/ 百度文库 /
优势:短文本和长文本流畅、准确、符合逻辑,语意连贯。
劣势:字数控制一般,新媒体文案不符合平台调性,有时会忽视特定语境和需求。
/ 迅捷 /
优势:短文本和中文本流畅、准确、符合逻辑,语意连贯。
劣势:长文本写作能力一般,输入输出易受到字数限制(800字),偶尔出现语病。
/ 抖音豆包 /
优势:长文本写作流畅、准确、符合逻辑,语意连贯。
劣势:中短文本表现一般,语言平淡,文案过于直接,内涵单一,文本润色出现部分内容完全照搬原文的情况。
/ 笔灵AI /
优势:短中长文本能做到基本流畅,符合逻辑。
劣势:字数控制差,内容冗长无趣,文风有明显AI写作痕迹,经常忽视提示词需求(如不分点、格式错误)。
/ 光速写作 /
优势:长文本写作流畅、准确、符合逻辑,语意连贯。
劣势:中短文本表现差,部分文本输入输出易有字数限制(如小红书模板描述输入限制400字)。
/ 秘塔 /
优势:短文本写作能力良好,内容流畅、准确、符合语境和需求。
劣势:中长文本表现差,新媒体类写作有字数上限(800字)
/ 火山写作 /
优势:短文本和中文本能做到基本流畅,符合逻辑。
劣势:字数控制差,内容重复啰嗦,忽视提示词需求(如未给出标题或标题未体现主题、不分点分段)。
·
# Part.5 付费情况
全程免费
文心一言3.5、智谱清言、天工AI、kimi、通义千问、抖音豆包、秘塔;
常规功能免费
光速写作常规功能免费,选择生成“超优质”内容、“输出字数超2000字”等情况需会员,月会员13.8元,年会员178元;
迅捷AI“写作模式”免费,“对话模式”每日免费提问三次,月会员48元,终身会员128元;
限额(时间/字数)免费
火山写作每周登录可获3天免费额度,邀请新用户获15天免费额度,暂无付费报价;
百度文库每日免费提问十次,体验卡2元/7天畅享,包季40元;
笔灵AI新用户免费赠送500字数,月会员29元,年会员99元。
可以预见,在各大科技厂商的技术加持下,未来国内AI产品的能力和成熟度将会持续提升,不断适应更加复杂多样化的交互场景,加速向各行业、各应用场景中渗透,成为广大用户生活、工作、学习的全能助手。
----------------------------------------------------------------------------------------------
联想开放平台地址:联想开放平台
联想开发者专属QQ客服(工作日9:30-18:00):联想开发平台首页右侧悬浮的在线客服聊天入口可直接会话,无需添加好友。也可搜索官方客服QQ号2881414004。
联想应用商店
声明
本文内容仅代表作者观点,或转载于其他网站,本站不以此文作为商业用途
如有涉及侵权,请联系本站进行删除
转载本站原创文章,请注明来源及作者。