数字通信世界杂志

摘要：本文以提升数据预处理质量为目标，从数据工程角度出发，围绕数据预处理的创新方法、自动化工具与分布式处理技术展开研究。在技术层面针对数据预处理过程中存在的问题进行具体分析；采用统计学习方法结合生成模型提升数据质量；使用标准化和特征编码解决异构数据的不同表示问题；采用面向Spark与Flink的并行化方法，在大数据支撑下显著降低特征工程时间；通过跨领域对齐算法降低不同任务间的迁移差距；利用生成式增强与动态归一化在计算机视觉任务中，提供更好的图像输入；依靠上下文感知的词嵌入抓取深层语义，在自然语言处理中取得了较好的性能表现。当前的研究方向主要是将数据预处理过程自动化，并基于AutoML或强化学习产生自适应性的参数配置策略。

关键词： 数据预处理优化;人工智能模型训练;图像增强;词嵌入;

专辑： 信息科技

专题： 计算机软件及计算机应用;自动化技术

分类号： TP311.13;TP18