Понимание простой LSTM pytorch

import torch,ipdb

import torch.autograd as autograd

import torch.nn as nn

import torch.nn.functional as F

import torch.optim as optim

from torch.autograd import Variable



rnn = nn.LSTM(input_size=10, hidden_size=20, num_layers=2)

input = Variable(torch.randn(5, 3, 10))

h0 = Variable(torch.randn(2, 3, 20))

c0 = Variable(torch.randn(2, 3, 20))

output, hn = rnn(input, (h0, c0))

Это пример LSTM из docs. Я не знаю, понимаю следующие вещи:

1. Что такое выходной размер и почему он нигде не указан?


2. Почему входные данные имеют 3 измерения. Что представляют собой 5 и 3?


3. Что такое 2 и 3 в h0 и c0, что они представляют?

Правка:

import torch,ipdb

import torch.autograd as autograd

import torch.nn as nn

import torch.nn.functional as F

import torch.optim as optim

from torch.autograd import Variable

import torch.nn.functional as F



num_layers=3

num_hyperparams=4

batch = 1

hidden_size = 20

rnn = nn.LSTM(input_size=num_hyperparams, hidden_size=hidden_size, num_layers=num_layers)



input = Variable(torch.randn(1, batch, num_hyperparams)) # (seq_len, batch, input_size)

h0 = Variable(torch.randn(num_layers, batch, hidden_size)) # (num_layers, batch, hidden_size)

c0 = Variable(torch.randn(num_layers, batch, hidden_size))

output, hn = rnn(input, (h0, c0))

affine1 = nn.Linear(hidden_size, num_hyperparams)



ipdb.set_trace()

print output.size()

print h0.size()

*** RuntimeError: матрицы ожидаются, получены 3D, 2D тензоры в