今天我厂大模型组的贵清同学说通义千问2的700亿参数版本发布并开源了,安装测试了下,果然好用。
而且说通义千问这个模型已经在HuggingFace 的Open LLM Leaderboard开源模型榜单登顶了(见图1),太牛了啊。
我也手动测试了几个之前的bad case,结果都是对的(见图2和图3)。。提升巨大,我们现在用大模型处理数据的场景还是蛮多的,比如要标注笔记的正负面,标注对话数据的甲乙方,标注文章里面提到的品牌名称,地名等等。现在开源的大模型真是福音,方便我们这种有大量数据处理业务的企业了。
又安排员工把之前发现的其他大模型跑数据遇到的bad case都跑一遍,发现这一版通义千问在其他大模型跑出的bad case里面的表现正确率超过了75.2% (当然也有一些是错的,见图4)。其他大模型跑通过的case里面正确率达到99%。因为我们是有正确答案的,比较好统计,其实我可以给各家大模型在数据标注方面做测评啊,是不是又一个发财的机会啊。。
下一步还要测试下推理速度和成本,这个是大量使用的关键,小伙伴还在测试中,(待续)。
https://i.postimg.cc/W3y9wnYc/593af2a7gy1hqgliz55wej20z80i1ame.jpg
https://i.postimg.cc/QCWf4Tv9/593af2a7gy1hqglj3m877j212s0p2k9e.jpg
https://i.postimg.cc/tRZyQmjP/593af2a7gy1hqglj6ec9fj21160pzwwn.jpg
https://i.postimg.cc/HWqmp4YN/593af2a7gy1hqgljqobchj21360r3aof.jpg