数字孪生与LLM结合探索

记录数字孪生+土木工程+LLM的研究路径

数字孪生与LLM的结合研究现状

1. 如何结合 LLM 生成虚拟数据（fiction data）？

LLM 在生成高质量合成数据方面展现出强大能力，特别是在实验数据稀缺的情况下。以下是一些具体方法和相关研究：

• SELF-GUIDE 方法：该方法通过 LLM 自主生成任务特定的数据集，并在此数据集上进行微调，显著提升模型在特定任务上的能力，无需依赖大量外部高质量数据或更强大的教师模型。

• LLM2LLM 框架：该框架使用教师模型生成新的训练数据点，以提高学生模型的性能。具体步骤包括：在初始种子数据上对学生模型进行微调，评估并提取模型预测错误的数据点，使用教师模型根据这些错误数据点生成合成数据，然后将这些数据重新加入训练数据中。

• Source2Synth 方法：该方法通过将自定义数据源作为输入，生成基于现实世界源的合成数据点，并通过筛选提高数据集质量。

2. 数字孪生与 LLM 的研究进展及研究方向

数字孪生技术与 LLM 的结合为多领域应用带来了新的可能性。以下是近期的研究进展：

• 人机协作数字孪生系统：同济大学的研究团队在人机协作数字孪生系统研究上取得进展，相关成果以题为“Toward Cognitive Digital Twin System of Human–Robot Collaboration Manipulation”被 IEEE Transactions on Automation Science and Engineering 期刊录用。该研究将 LLM 与数字孪生技术相结合，提出了一种人机协作的认知数字孪生系统，旨在将 LLM 整合到人机协作系统的决策循环中，以提高柔性制造中人机协作的生产效率。

• LLM-Twin 框架：该框架提出了一个由 Mini-Giant 模型驱动的超越 5G 的数字孪生网络框架，具有语义安全通信和计算功能。研究设计了小巨模型协作方案，实现了在数字孪生网络中高效部署 LLM，并设计了一个语义级的高效、安全的通信模型。