统计
  • 建站日期:2016-12-20
  • 运行时间:2294天
  • 文章总数:9194 篇
  • 评论总数:3 条
  • 分类总数:8 个
  • 最后更新:3月31日
文章 精品推荐

围绕5个大方向,我们测试了文心一言和chatGPT的不同

烈阳
首页 精品推荐 正文

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第1张图片

3月16日,百度如约发布了对标chatGPT的中文版「文心一言」。

百度是国内乃至全球大厂中第一个发布大语言模型的公司,但同时李彦宏也承认,内测体验并不完美,但他表示文心一言的进步空间很大。

总的来说,整场发布会虽然没有透露更多内容,也没有面向个人用户开放,但百度还是表达了自己的核心观点:介绍能力、承认差距、展望未来。

而发布会后,百度也开放了内测权限,我们在拿到权限后第一时间与chatGPT做了对比,看看它们有什么不同。

因为主要测试对象是文心一言,所以这些问题基本都围绕百度发布会上透露的五个方向:文学创作、商业文案创作、数理推算、中文理解和多模态生成。

1 文学创作

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第2张图片

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第3张图片

从用词上来看,文心一言和chatGPT开头的场景描写几乎一模一样。但整首诗的风格却不同,文心一言自始至终都是压抑的、悲观的,chatGPT却给了一个坚定且有希望的ending。

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第4张图片

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第5张图片

古诗创作文心一言上来就copy了一首家喻户晓的诗词。chatGPT的回答更标准,也作了诗名。

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第6张图片

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第7张图片

在故事创作上,文心一言似乎有些不合逻辑,人被猫咬了却把猫抱到了医院,直接忽略了人。且结尾也有些胡言乱语,一边不能忘记汤姆带来的恐惧和不安,又要给它建造纪念碑,视为英雄?

chatGPT的故事似乎更有逻辑性,也更符合我的恐怖要求。

2 商业文案创作

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第8张图片

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第9张图片

在商业文案创作上,文心一言给出的答案更符合我的要求和想法,chatGPT的答案相对啰嗦。

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第10张图片

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第11张图片

这一个则是文心一言完胜,chatGPT不仅用英文回答,而且还搞错了品牌,将悦刻翻译为YOOZ。

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第12张图片

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第13张图片

这段开场白文心一言更符合我的需求和想法,chatGPT似乎搞错了对象。

3 数理推算

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第14张图片

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第15张图片

这是一道小学奥数题,也难住了文心一言和chatGPT。文心一言直接摆烂,回答的内容里有错误代码;chatGPT则是一本正经的胡说八道,看似步骤很多在一步步解题,实际上最后的答案也是错的。

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第16张图片

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第17张图片

第二个问题是一道从网上down下来的腾讯面试题,文心一言显然没有读懂题意,最后的答案完全风马牛不相及。chatGPT的回答看似步骤合理,但最后的结果却是错的。

4 中文理解

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第18张图片

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第19张图片

一段《三体》中的摘抄,我更喜欢chatGPT的回答,不仅描述片段的大意,还给出了反问。文心一言的答案貌似偏离了题意。

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第20张图片

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第21张图片

一个来自赵本山小品的梗,都没有理解。

5 多模态生成

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第22张图片

围绕5个大方向,我们测试了文心一言和chatGPT的不同-烈阳家园-第23张图片

因为chatGPT还不具备图片生成能力,所以只能用文字描述。

总结:

从上述问题的答案来看,文心一言和chatGPT都不完美。

最直观的差距,应该说是一种感觉。明明知道两个都是机器人,但chatGPT给我一种更像人的感觉。文心一言的优势,似乎更商业化一些,在商业文案创作上完胜chatGPT,这可能是未来全量开放后,被调用最多的一个功能。

在测试之后我还试着问了一些带有价值观看法的问题,chatGPT会表示自己是AI语言模型,不能够道德判断或对个人行为做出价值评估。

更大范围的感触并不是具体的产品差异,而是背后的技术差距。百度也承认差距的存在,也就意味着我们还有时间来做完善。

但至少从0到1的突破我们做到了,从1到100就继续努力吧。

以上是我们向文心一言和chatGPT提出的问题,考虑到文心一言目前尚在小范围内测,如果你有想问的问题,欢迎留言,我们帮你问。

本文来自“解码Decode”,36氪经授权发布。

文章来源:https://36kr.com/p/2175267239373321

版权说明
文章采用: 《署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0)》许可协议授权。
版权声明:未标注转载均为本站原创,转载时请以链接形式注明文章出处。如有侵权、不妥之处,请联系站长删除。敬请谅解!

-- 展开阅读全文 --
Chat AI|AI大牛颜水成加入「智源研究院」,任访问首席科学家
« 上一篇
海外new things | 荷兰软件开发商「AG5」融资600万美元
下一篇 »
为了防止灌水评论,登录后即可评论!

HI ! 请登录
注册会员,享受下载全站资源特权。
社交账号登录

每日一言

最新文章

标签TAG