出品|三言Pro 作者|雨辰
要说搜索引擎和生成式AI大模型绝配应该不会有人反对。
(资料图片)
前有微软bing+GPT,再有国内搜索头号玩家百度推出文心一言,昨日国内搜索的二把手360也忍不住秀了自己的GPT类产品。
“把刚生出来的孩子抱出来看看”,360创始人周鸿祎也直言可能还存在不足,顺便请网友帮产品取个名字。
直播间不少人敲出了“红孩儿”,看着周鸿祎的红色POLO衫就很应景。
而这次周鸿祎没放PPT,甚至和主持人以及现场观众互动演示产品,先不说产品怎么样,红衣大叔确实勇气可嘉。
那么360GPT到底效果咋样呢?我们一起来回顾下,顺便和ChatGPT、bing以及文心一言做个对比。
没有PPT,周鸿祎现场演示
和ChatGPT、bing以及文心一言还有差距
360这次演示的产品有点像bing+GPT,360也是将AI大模型与360搜索结合在一起。
具体使用方法与bing类似,就是在搜索框输入问题,然后会给出AI大模型生成的答案。
相比独立的AI大模型产品,和搜索引擎结合后大模型的信息源会更新。
这次现场演示总共测试了7个问题,咱们先来看看360的输出结果,后面也将和ChatGPT、文心一言以及bing作对比。
1、周鸿祎为什么老爱穿红衣服?
360的答案还算OK,可以看到答案援引了新浪科技的报道。
笔者找到当时新浪科技的那篇报道,基本就是复制了当时的报道原文。
再来看看下面3位参赛选手的生成结果,从上到下依次是bing、ChatGPT、文心一言,后文排列顺序也是如此。
测试下来其实只有bing说出了基于事实的正确答案,而ChatGPT、文心一言则是开启了分析模式,虽然讲的头头是道,但却不是基于已有事实。
ChatGPT、文心一言的回答展示了AI大模型生成答案的通用模式,像是经过分析的理性答案。相比而言,360和bing都体现了与搜索引擎结合的优势,能够利用搜索引擎的海量数据。
2、周鸿祎为什么总爱聊GPT?
同样的,360还是大比例地复制了经济观察网的报道原文。
而其他3个产品的答案更有加工因素,不像360会复制新闻,另外ChatGPT、文心一言比较喜欢长篇大论的分析,bing则比较简短。但总体上看,3个回答都有一定的参考价值。
3、为什么要暂停训练GPT5?
上述问题是昨日的新闻热点,我们可以看到360其实也是大段引用了昨日的新闻报道,这再次体现了与搜索引擎结合的优势。
而ChatGPT、文心一言都没有给出准确回答,文心一言干脆摆烂,表示不清楚。ChatGPT则基于各种常识进行了一波分析,但如果抛开新闻本身来说,这些分析也有参考性。bing则再次和360一样,得出了正确答案,甚至还贴出了新闻的相关链接。
4、卡塔尔世界杯冠军是哪个国家?
这个问题比较简单,不需要进行太复杂的判断,其实考察了数据量的问题。360轻松回答正确。
但ChatGPT则因为数据库最新的是2021年9月,所以没有给出答案,文心一言和bing也都成功作答,所以百度的训练数据还是比ChatGPT新的。
5、孙悟空大战灭霸,谁会赢?
这个问题考察了AI的逻辑思考能力,这次360的回答就比较离谱。360认为孙悟空吊打灭霸,但理性判断的话,二者并没有可比性,况且答案的结论也没有给出让人信服的理由。
事实上,三言发现360的回答部分内容就直接复制了中国新闻社2019年的一篇文章。
而相比360的莽撞回答,另外3个回答就比较理性。bing和ChatGPT的回答如出一辙,均认为虚构角色没办法直接对比,结果取决于创作者的想象力。
文心一言则从技能、战术等角度去分析二者的能力。
6、梅西在阿根廷国家队进了多少球?
这个问题也是考察了对最新数据的收集和分析整理能力,不过这次360翻车了。
360回答了3次,都是100个球,但事实上梅西是102个球。而102球的数据是昨天才有的。
值得注意的是,一直表现不错的bing这次也翻车了,显示梅西共进了90个球。ChatGPT同样是因为数据更新只到2021年9月,所以没有最新数据,给了老数据。
不过,文心一言这次给出了正确答案。
7、会议临近结束时,领导说我再讲十分钟,意味着什么?
这考察AI的语意理解能力,不过一开始360表现并不好。经过几次尝试,才最终理解了“领导想要占用更多时间”意思。
而在这次挑战中,ChatGPT成功给出了正确答案,文心一言和bing都没有理解正确。
经过对比测试,能够看到360、bing和文心一言由于和搜索引擎挂钩,所以在信息的实效性上表现较好。
不过360更倾向于复制信息原文,加工程度相比其他3家较低。
在逻辑理解、语意理解等能力上,ChatGPT是表现最好的,尽管它有时给出的回答并不是基于事实信息,但它的回答有逻辑性,大多数情况下都有参考价值。
相比而言,360更倾向于搜索新闻,但是没有体现AI生成式大模型的智能型,答案不够个性化,加工程度低。
360生成式AI还是个“宝宝”
买了船票还没上船
在昨日演示中,周鸿祎表示,“GPT是场新工业革命,其意义超越了互联网、iPhone的发明。”未来每个行业、企业、个人都会拥有定制化GPT。在场景化、工程化、产品化、商业化方面中国拥有优势,有能力发展自己的人工智能大语言模型。但中国大语言模型距离GPT-4有两到三年时间差距,需要更多的宽容和耐心。
周鸿祎还提出了360的AI发展策略:“两翼齐飞”。具体就是先占领场景,再同步发力核心技术。
周鸿祎现场介绍了360大模型战略在ToC、ToSME、ToG&B方面的商业化场景落地计划。
在To C端,将推出新一代智能搜索引擎,并基于搜索场景推出人工智能个人助理类产品;在To SME端,将基于生成式大模型推出SaaS化垂直应用,如结合生成式AI的“苏打办公套件”和“企业即时通讯工具-推推”等,以解决中小微企业数字化转型难题;在To G&To B端,360已将核心数字安全能力融入安全AI模型,计划结合数字安全业务推出企业私有化AI服务,满足客户对私有知识、资产的索引需求。
周鸿祎还指出360发展大语言模型的三大优势:数据获取和清洗;人工知识训练;场景。
而事实上,我们看到无论是bing、文心一言的背后都有搜索巨头的支撑,360的优势它们也有,而且更加强悍。
其实对于搜索引擎和生成式AI的组合,优势很多都是共通的,关键还是要看算法和训练量。
目前来看,ChatGPT和bing无疑是投入最多的,借助ChatGPT的能力bing的下载剧增。
据Data.ai数据,新版微软必应2月发布后下载量跃升8倍,谷歌应用下载量下降2%;必应的页面访问量上升15.8%,谷歌的页面访问量降1%。
在国内,文心一言还处于内测阶段,对普通用户来说还很难接触到,但起码迈出了第一步。相比而言,360才刚刚买了船票,还不算正式上船。
作为国内搜索市场的一二号玩家,百度相比360有了先发优势,百度在AI上积累也有目共睹。
两家搜索巨头都还是在探索之中,相比而言百度略有优势,但距离成熟产品还有距离。
正如周鸿祎所说,“GPT还是一个宝宝”,不过中国GPT距世界的标准比国足短多了。