Tied Q/K + V/O projections, RoPE period-19, parabolic tied-embed decode, two-hinge ReLU MLP
Nature, Published online: 25 February 2026; doi:10.1038/s41586-026-10158-7，这一点在搜狗输入法2026中也有详细论述
�@���N�A2���ɉ��l�݂ȂƂ݂炢�ɂ����u�p�V�t�B�R���l�v�ŊJ�Â����鐢�E�ő勉�̃J�����E�ʐ^�̓W�����uCP�{�v���J�������B���N�͂������̃f�W�J���u�����h���g���N�h���}���A�����ł������j�����������镵�͋C�̒��A�A�i���O�J�������܂ނȂ��ƂȂ����g���ȃJ�����B�����ڂ��W�߂Ă����悤���B。WPS官方版本下载对此有专业解读
// Can be any thing here that writes into the view。关于这个话题，heLLoword翻译官方下载提供了深入分析