Theano MiniBatch Iterator não funciona

votos
0

Theano MiniBatch Iterator não funciona

Eu codificado um iterador minibatch para obter os resultados de minha rede neural previsto. No entanto, eu fiz alguns testes e notei alguns erros.

basicamente:

If batch_size > amount of inputs  : error

Fiz um roteiro para mostrar este bug no meu código. Sua mostrado abaixo:

import numpy as np

def minibatch_iterator_predictor(inputs, batch_size):
    assert len(inputs) > 0

    for start_idx in range(0, len(inputs) - batch_size + 1, batch_size):
        excerpt = slice(start_idx, start_idx + batch_size)
        yield inputs[excerpt]


def test(x, batch_size):
    prediction = np.empty((x.shape[0], 2), dtype=np.float32)

    index = 0
    for batch in minibatch_iterator_predictor(inputs=x, batch_size=batch_size):
        inputs = batch

        # y = self.predict_function(inputs)
        y = inputs

        prediction[index * batch_size:batch_size * (index + 1), :] = y[:]
        index += 1
    return prediction

######################################
#TEST SCRIPT
######################################

#Input
arr = np.zeros(shape=(10, 2))

arr[0] = [1, 0]
arr[1] = [2, 0]
arr[2] = [3, 0]
arr[3] = [4, 0]
arr[4] = [5, 0]
arr[5] = [6, 0]
arr[6] = [7, 0]
arr[7] = [8, 0]
arr[8] = [9, 0]
arr[9] = [10, 0]

###############################################

batch_size = 5
print \nBatch_size , batch_size
r = test(x=arr, batch_size=batch_size)

#Debug
for k in xrange(r.shape[0]):
        print str(k) +  :  + str(r[k])

##Assert

assert arr.shape[0] == r.shape[0]

for k in xrange(0,r.shape[0]):
    print r[k] == arr[k]

Aqui estão os testes

Para batch_size = 10:

Batch_size  10
0 : [ 1.  0.]
1 : [ 2.  0.]
2 : [ 3.  0.]
3 : [ 4.  0.]
4 : [ 5.  0.]
5 : [ 6.  0.]
6 : [ 7.  0.]
7 : [ 8.  0.]
8 : [ 9.  0.]
9 : [ 10.   0.]

Para batch_size = 11:

0 : [  1.13876845e-37   0.00000000e+00]
1 : [  1.14048027e-37   0.00000000e+00]
2 : [  1.14048745e-37   0.00000000e+00]
3 : [  9.65151604e-38   0.00000000e+00]
4 : [  1.14002468e-37   0.00000000e+00]
5 : [  1.14340036e-37   0.00000000e+00]
6 : [  1.14343264e-37   0.00000000e+00]
7 : [  8.02794698e-38   0.00000000e+00]
8 : [  8.02794698e-38   0.00000000e+00]
9 : [  8.02794698e-38   0.00000000e+00]

Para batch_size 12

0 : [  1.13876845e-37   0.00000000e+00]
1 : [  1.14048027e-37   0.00000000e+00]
2 : [  1.14048745e-37   0.00000000e+00]
3 : [  9.65151604e-38   0.00000000e+00]
4 : [  1.14002468e-37   0.00000000e+00]
5 : [  1.14340036e-37   0.00000000e+00]
6 : [  1.14343264e-37   0.00000000e+00]
7 : [  8.10141537e-38   0.00000000e+00]
8 : [  8.10141537e-38   0.00000000e+00]
9 : [  8.10141537e-38   0.00000000e+00]

Como posso consertar isso?

Publicado 12/01/2017 em 13:55
fonte usuário
Em outras línguas...                            


1 respostas

votos
0

Por favor, tente ser mais específico na pergunta. O que exatamente você quer consertar?

Não há qualquer erro. Quando o tamanho do lote é maior do que as entradas a função minibatch_iterator_predictorproduz uma iteração vazio e o laço for batch in minibatch_iterator_predictor(inputs=x, batch_size=batch_size)não é executado.

O que você começa quando o batch_size é maior do que o número de entradas é apenas os zeros da inicialização: prediction = np.empty((x.shape[0], 2), dtype=np.float32)

O que você pode fazer é limitar a batch_size máximo para o número de entradas:

def minibatch_iterator_predictor(inputs, batch_size):
    assert len(inputs) > 0
    if batch_size > len(inputs):
        batch_size = len(inputs)

    for start_idx in range(0, len(inputs) - batch_size + 1, batch_size):
        excerpt = slice(start_idx, start_idx + batch_size)
        yield inputs[excerpt]
Respondeu 13/01/2017 em 03:44
fonte usuário

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more