行业: 党政
技术: AI
进入21世纪以来,互联网和大数据推动人工智能进入新的春天。语音识别、图像分类、机器翻译、可穿戴设备、无人驾驶汽车等人工智能技术均取得了突破性进展。尤其是IBM Watson、苹果Siri、谷歌AlphaGo等标志性AI智能的出现,标志着这些产品背后的深度神经网络等技术正在走向成熟。深度学习的研究与应用已经在自然语言处理领域成功地产生了诸多突破性的成果,如何尽快将这些新技术引入实际的文本分析应用中,提升文本的智能分析水平,成为迫在眉睫的挑战。
为了更好的扩展AI技术的应用范围,飞腾携手拓尔思打造AI技术平台,降低从事AI工作的技术门槛。 AI技术平台整合了已有的AI算法应用,规范了AI模型的训练流程,通过可视化、交互性更强的操作界面,让各行各业的技术人员都可以参与到AI技术推动的技术革新浪潮中去,是AI技术推广与应用的驱动引擎。
本方案实现拓尔思AI中台产品与飞腾腾云S2500路线服务器的适配,实现软硬件的自主可控。拓尔思AI中台产品是基于深度神经网络技术的新一代AI技术平台,集成了开源深度神经网络框架TensorFlow、pytorch、caffe等多种算法框架,在实体抽取、文本分类、文本摘要、文本相似度比对、文本校对、词性标注、图像抽取等多个应用途径中都拥有对应的AI训练算子。拓尔思AI中台可以使用多种不同的方式来训练AI模型,具备从基础的表单训练,到可视化的流水线训练等多种训练方法,让用户可以选择最适合自己的方式来构建AI模型。拓尔思AI中台具备特征可视化、评估结果可视化、训练流程可视化等一系列的可视化交互界面,方便用户直观高效的获取训练过程中的一系列信息,提高平台的易用性和交互性。方案架构图如下所示。
方案架构图
功能介绍
计算资源是AI中台的基石,为AI中台提供了强大的计算能力。通过整合各种计算资源,本方案的计算资源基于飞腾服务器CPU及NVIDIA Tesla T4 GPU,能够高效地处理大量数据,加速AI模型的训练和部署。同时,它还提供了弹性伸缩、负载均衡等特性,确保了AI应用的高可用性和稳定性。
提供文本、图像、音频、视频、信号、结构化等多种模态的数据标注服务,通过建立数据服务体系,向AI模型开发提供数据清洗、数据标注、数据增强、特征工程等能力,保障AI研发高质量、高效率的数据供给。
集成了TensorFlow、pytorch、Caffe、sklearn、SparkML、Xgboost等计算框架,在文本分类、文本摘要、信息抽取、图像目标检测、实例分割等多个应用途径中都拥有对应的AI训练算法、评估算法。
AI模型开发模块面向企业提供包含AI模型构建、训练、调优、评估等在内的机器学习、深度学习能力,并通过自动机器学习技术,降低模型研发门槛,加速企业智能应用创新。平台可以使用多种不同的方式来构建AI模型,包括可视化建模、生产线建模、Notebook建模等,让用户可以选择最适合自己的方式来构建AI模型。
本方案可应用于各行业AI需求,包括文本、视频、语音等维度的人工智能应用。
适配业务流程
1、在飞腾腾云S2500CPU+Nvidia T4 GPU的环境下,部署AI中台集群。
2、完成6类算法框架的适配训练与评估,并根据评估结果再进行优化训练。
运行环境
CPU |
飞腾腾云S2500芯片 |
GPU |
NVIDIA Tesla T4 |
操作系统 |
Kylin Linux Advanced Server release V10-GFB-arm64-Build03/20220429 |
GPU驱动版本 |
460.84 |
容器中间件 |
拓尔思技术中台 v1.0.8-267d6abc |
关系数据库 |
MySQL 8.0.32 |
全文检索数据库 |
拓尔思海贝数据库 9.0 |
缓存数据库 |
Redis 5.0 |
JDK |
OpenJDK 11.0.22 |
AI模型开发模块面向企业提供包含AI模型构建、训练、调优、评估等在内的机器学习、深度学习能力,并通过自动机器学习技术,降低模型研发门槛,加速企业智能应用创新。
模型训练
模型评估
某用户内部产生大量动向数据报文,报文格式杂乱,有的报文中包含多个事件,有的报文为单个事件,且表述方式不一。该项目利用拓尔思AI中台,训练事件分析模型,将动向报文解析成独立事件,同时训练分类模型,将动向报文通过事件分类,实体抽取等方式进行打标,实现动向数据的事件分析、专题分析等功能。
成果截图:
模型部署
算法优化
飞腾腾云S2500
拓尔思是一家技术驱动型企业,历经二十余年的深耕和积累,在全文检索、自然语言处理、内容管理等领域始终处于行业前沿,公司2011年在深交所创业板上市,股票代码300229,是第一家在A股上市的大数据技术企业。拓尔思以大数据+人工智能为发展战略,旨在帮助客户实现从数据洞察到智慧决策的飞跃。
拓尔思的核心业务包括软件产品研发,行业应用解决方案和数据分析挖掘云服务三大板块,涉及大数据管理、信息安全、互联网营销和人工智能等应用方向。