本文介绍了一种新颖的低秩适配方法，即Mixture-of-Subspaces in Low-Rank Adaptation (MoSLoRA)。此方法结合了传统的低秩适配 (LoRA) 和混合专家 (Mixture-of-Experts, MoE) 的优势，通过引入一个可学习的Mixer矩阵来融合多个子空间，从而在不显著增加计算开销的情况下提升了模型的表现。

本文提出了一种名为LLMGR的新框架，旨在将大语言模型（LLM）与图神经网络（GNN）结合，用于解决会话推荐任务（SBR）中的数据稀疏问题。传统的SBR方法依赖于用户交互数据，而忽略了文本信息的丰富性，限制了对用户行为的理解。LLMGR通过设计多任务提示（Prompts），并利用混合编码层，将文本信息与图结构数据相结合，增强了推荐系统对用户行为模式的捕捉能力。框架采用两阶段的提示调优策略，首先构建节点与文本信息的联系，然后捕捉会话中的行为模式。实验结果表明，LLMGR在多个真实数据集上显著优于现有的SOTA方法，尤其在冷启动场景下展现出强大的推荐性能。

本文提出了一种创新的方法，通过引入神经图（Neural Graphs）的概念，将神经网络的参数（如权重和偏置）表示为图结构。这种图结构不仅能够表示神经网络的计算过程，还能够捕捉神经网络架构之间的差异。通过这种表示，模型能够自然地保持对称性，即使在面对多种不同的神经网络架构时，也能保证等变性（equivariance）。

在自然语言生成任务中，微调是使用大型预训练语言模型的常见方式。然而，微调需要修改所有模型参数，因此每个任务都需要存储一份完整的模型副本，这对存储和计算成本提出了很高的要求。本文提出了一种新的方法：Prefix-Tuning，它通过优化一个小的任务特定连续向量（称为前缀），而保持语言模型参数不变。与微调相比，Prefix-Tuning只需存储前缀，显著降低了存储需求。

在现代推荐系统领域，如何根据用户的短期行为来预测其未来的点击行为是一个重要问题。传统的推荐系统多依赖于用户的长期偏好数据，而在实际应用中，用户的会话（session）行为也往往能很好地反映用户的即时需求。为了解决这一问题，基于会话的推荐系统（Session-based Recommendation, SBR）逐渐兴起。本文介绍的SR-GNN（Session-based Recurrent Graph Neural Network） 是一种将图神经网络（GNN）引入到会话推荐中的方法，能够有效捕捉用户在单个会话中的短期行为，从而预测用户的下一个点击行为。SR-GNN 在会话推荐系统中引入了图神经网络，能够有效捕捉物品之间的复杂依赖关系，并结合自注意力机制和门控循环单元（GRU）建模时间顺序。这使得 SR-GNN 能够在短期会话中进行准确的推荐，尤其适用于动态变化的用户行为场景。

GC-SAN 是一种新型的会话推荐模型，旨在通过结合图神经网络（GNN）和自注意力机制（Self-Attention），有效捕捉用户当前会话中的物品转移模式。模型首先利用 GNN 处理局部的物品依赖关系，再通过多层自注意力网络捕捉会话中的全局偏好。最终，模型将会话中的局部兴趣和全局兴趣加权融合，生成用户的最终会话表示，以预测下一步的点击物品。实验结果表明，GC-SAN 在多个真实数据集上优于现有的会话推荐方法，尤其在建模长距离物品依赖和捕捉复杂物品关系上表现突出。

本文提出了一种新的超曲面对比图表示学习方法（HCGR），用于解决基于会话的推荐系统中的挑战。会话推荐系统需要从用户的短期行为中推断用户的兴趣，而传统的方法通常依赖于欧氏空间进行图神经网络的表示学习。这种方法难以捕捉用户行为中的层次结构，尤其是在用户的兴趣是多层次或呈现树状结构时。HCGR通过引入洛伦兹超曲面几何空间，将推荐问题嵌入到非欧空间中，以更有效地捕捉用户行为中的层次信息。此外，论文提出了一种自适应超曲面注意力机制，以及对比学习方法来优化模型，提升推荐性能。实验结果表明，该方法在多个公开数据集上的表现优于当前的先进基准方法，显著提高了命中率、NDCG和MRR等指标。

Here's something encrypted, password is required to continue reading.

在机器学习和深度学习领域，优化算法是驱动模型训练的核心要素。随着研究的深入，优化算法经历了从基础到复杂的不断演进，旨在提升训练效率、加快收敛速度，并克服各种训练中的挑战。本文将系统性地介绍几种主流的优化算法，重点讲解它们的思路演变和参数设计背后的逻辑。

Here's something encrypted, password is required to continue reading.