中国电信重磅发布TeleChat大模型
(CWW)2023年7月6日,在世界人工智能大会中国电信“算网一体·融创未来”的分论坛上,中国电信数字智能科技分公司正式对外发布中国电信大语言模型TeleChat,并展示了大模型赋能数据中台、智能客服和智慧政务三个方向的产品。
【资料图】
TeleChat大模型揭开神秘“面纱”
近年来,人工智能开始爆发性增长,并进入生成式AI时代。早在几日前,就有消息称中国电信将推出电信版 ChatGPT 产品 TeleChat 大模型,或将涵盖 AI 算法、平台、应用、硬件、大模型等。
“GPT模型是人工智能技术发展变迁的重要代表,作为一种自然语言处理模型,GPT模型通过在大型文本语料库上的训练学习到语言模式用于生成自然语言文本,为信息检索、机器翻译和文本摘要等多类任务提供了有效的解决方案。”电信智科副总经理何忠江在此次论坛上表示。
据介绍,TeleChat使用了大量高质量中英文语料进行预训练,并采用了千万级问答数据进行微调。同时,设计了渐进膨胀注意力机制,用于增加模型的间隔采样,扩大实际感受野;研发了自校准微调技术,将迭代后相关性偏差作为强化学习的监督信号,提升强化学习效果;并且利用知识图谱协同增强策略,通过知识图谱增强大模型的预训练和推理能力,减少大模型幻觉现象。
此外,以TeleChat为底座的教育版大模型TeleChat-E在全球大模型综合性考试评测榜单C-Eval上排名第七,前几名包括GP4、ChatGPT等知名大模型。TeleChat-E使用人工收集、标注、整理的高质量领域数据对TeleChat进行持续效果强化。同时,TeleChat-E对Transformer Decoder的损失函数进行改进,使之更加关注题目答案的生成,提高准确率。
大模型“智领”千行百业
事实上,中国电信早早地就在AI智能领域“大展身手”。2022年6月,中国电信股份有限公司数字智能科技分公司正式成立,旨在依托中国电信强大的网络数据基础,为我国数字化转型发展和数字中国建设提供强大支撑。随后,在2022天翼数字科技生态大会上,中国电信重磅推出星河AI平台,这也是当时全球首款以云网融合为基础底座,搭载“全网、区域、边、端”四级算力的人工智能产品和能力平台。
而此次推出得电信TeleChat大模型,不仅涵盖了生成式AI的基础功能,也在积极赋能千行百业的信息化解决方案,并已在诸多行业实现商业化落地。本次论坛上,重点介绍了三个大模型赋能行业应用的产品。
一是大模型+数据中台产品。中国电信演示了将AI能力和数据中台深度融合,打造AI智能取数能力,基于大数据平台生成的可视化图表。目前已实现大数据中台大模型将数据平台的权限和脱敏能力打通,使用户可以获取到自己权限范围内的数据表中脱敏后的字段值,比如姓名、电话号码等。当进入到AI取数模块时,用户可以根据自身需求让大模型生成SQL、可视化图表和分析报告。
二是大模型+智能客服产品,TeleChat大模型能够辅助坐席或用户快速获取文章和材料内的信息。在现场演示中可以看到,通过一站式人机融合知识中台查看产品介绍材料,再激活大模型悬浮对话框,接下来上传需要模型理解的文件,即可得到理解后生成的反馈。在TeleChat的帮助下,坐席无需阅读全文找答案,既解决了模型幻觉问题,还能够做到知识库管理权限隔离。
三是大模型+智慧政务产品,中国电信TeleChat大模型依托5G消息,为政务客户提供政务短信智能化多轮问答,进行行业领域的基础语言模型训练和领域问答能力微调,并基于领域问题反馈的强化学习,最终实现对行业领域专业问题的精准回答和平台推送反馈。
在人工智能发展的巨大浪潮中,中国电信将依托云网融合优势,打造四级智能算力体系,围绕行业应用需求,联合产业链上下游生态合作伙伴,为千行百业量身打造定制化的行业应用大模型,促进各行业数字化、智能化转型升级,为建设数字中国贡献电信力量。