How To Implement Transformer Xl For Long Context

/
, ‑ .

, , ‑ ‑ .
/

‑ ./
./
, , ./
‑ ./
./
/
/
( “ ”) . , ‑ .

“//..//” /, .
/
, ‑ . , , , .

, .
/
/ ‑ /.

,

(, , ) ( ( )/√ + ) · /

{,} -|‑| / λ/ (λ ). .

, {(‑)}/ ’

{()} ( ( {(‑)}, {()} ) )/

‑ , “” .

, .
/
. / / ‑‑ / .

. / / (.., , , ).

. / ‑ .

. / / , .

,
(, , )
()
(, ”, ”, )
(**, )
//
. ‑/ (.., ‑) .
/ /
• / ‑ ‑ ~  .

• / (  ≈ .) ‑ .

• / , .

• / , ‑.
. . /
/ ‑ , / . ( + ) , ‑ .

/  + ./
/ (²) (·) ./
/ ./
/
/
, .

“‑” “‑”   , (..,   ).

, “//..///.” /, , .

‑ / /, .
/
. /
. / .
. ‑ /
, , .
. /
  ‑ , ‑ ‑ .
. /
‑ % ‑ ‑ .
. /
. “‑‑” ‑ .
. /
, ‑ .
. /
‑ , .
. /
‑ (.., /) .