12 references to InitXavierUniform
Microsoft.ML.TorchSharp (12)
NasBert\Models\PredictionHead.cs (1)
23
ModelUtils.
InitXavierUniform
(dense.weight);
NasBert\Models\SequenceLabelHead.cs (1)
25
ModelUtils.
InitXavierUniform
(dense.weight);
NasBert\Modules\EmbedTransfer.cs (1)
78
ModelUtils.
InitXavierUniform
(HiddenTransfer.weight);
NasBert\Modules\MultiHeadAttention.cs (9)
112
ModelUtils.
InitXavierUniform
(QProjection.weight, 1.0 / Math.Sqrt(2.0));
113
ModelUtils.
InitXavierUniform
(KProjection.weight, 1.0 / Math.Sqrt(2.0));
114
ModelUtils.
InitXavierUniform
(VProjection.weight, 1.0 / Math.Sqrt(2.0));
118
ModelUtils.
InitXavierUniform
(QProjection.weight);
119
ModelUtils.
InitXavierUniform
(KProjection.weight);
120
ModelUtils.
InitXavierUniform
(VProjection.weight);
123
ModelUtils.
InitXavierUniform
(OutProjLinear.weight);
135
ModelUtils.
InitXavierUniform
(KBias);
136
ModelUtils.
InitXavierUniform
(VBias);