SIGMA: SHAP-Guided Implicit-Trajectory Generation for Metadata-Free LLM-Based AutoFE

本文针对基于大语言模型（LLM）的自动化特征工程（AutoFE）中语义元数据缺失与长程优化下上下文膨胀导致的重复生成、局部最优等问题，提出SHAP引导的隐式轨迹生成框架SIGMA。该方法摒弃对特征/任务语义描述的依赖，转而利用SHAP值对原始特征进行任务感知分组（top/ useful/ weak），并据此开展组内与跨组协同特征生成，实现结构化探索。为缓解显式轨迹累积引发的上下文超限与生成偏差，SIGMA引入“暴露特征隐式轨迹”（EXIT）机制：通过动态屏蔽已选特征及高频操作，在提示中仅保留当前活跃特征集，使优化历史以特征组合形式隐式编码，而非显式token序列。实验在16个公开表格分类数据集上验证表明，SIGMA在提示长度基本恒定的前提下，性能媲美当前最优LLM基线；生成特征重复率由37.2%显著降至6.8%；平均仅需5.4个新增特征即可达到传统SOTA方法水平，显著提升特征利用效率。该工作为隐私敏感、元数据匮乏场景下的高效、可扩展LLM驱动AutoFE提供了新范式。