Será que a convolução no Theano girar os filtros?

votos
0

I ter uma imagem 3-canal de 5 por 5 da seguinte forma:

1 1 1 1 1    2 2 2 2 2    3 3 3 3 3
1 1 1 1 1    2 2 2 2 2    3 3 3 3 3
1 1 1 1 1    2 2 2 2 2    3 3 3 3 3
1 1 1 1 1    2 2 2 2 2    3 3 3 3 3
1 1 1 1 1    2 2 2 2 2    3 3 3 3 3

E uma 3-canal 3 a-3-filtro como este:

10 20 30   0.1 0.2 0.3   1 2 3
40 50 60   0.4 0.5 0.6   4 5 6
70 80 90   0.7 0.8 0.9   7 8 9

Quando convolve a imagem com o filtro, eu estou esperando esta saída:

369.6  514.8  316.8
435.6  594.   356.4
211.2  277.2  158.4

No entanto, Theano (usando keras) me dá essa saída:

158.4   277.2  211.2
356.4   594.   435.6 
316.8   514.8  369.6

Parece que a saída é girado 180 graus, eu me pergunto por que isso acontece e como posso obter a resposta correta. Aqui está o meu código de teste:

def SimpleNet(weight_array,biases_array):
    model = Sequential()
    model.add(ZeroPadding2D(padding=(1,1),input_shape=(3,5,5)))
    model.add(Convolution2D(1, 3, 3, weights=[weight_array,biases_array],border_mode='valid',subsample=(2,2)))

    return model
im = np.asarray([
        1,1,1,1,1,
        1,1,1,1,1,
        1,1,1,1,1,
        1,1,1,1,1,
        1,1,1,1,1,
        2,2,2,2,2,
        2,2,2,2,2,
        2,2,2,2,2,
        2,2,2,2,2,
        2,2,2,2,2,
        3,3,3,3,3,
        3,3,3,3,3,
        3,3,3,3,3,
        3,3,3,3,3,
        3,3,3,3,3])

weight_array = np.asarray([
                10,20,30,
                40,50,60,
                70,80,90,
                0.1,0.2,0.3,
                0.4,0.5,0.6,
                0.7,0.8,0.9,
                1,2,3,
                4,5,6,
                7,8,9])

im = np.reshape(im,[1,3,5,5])
weight_array = np.reshape(weight_array,[1,3,3,3])
biases_array = np.zeros(1)

model = SimpleNet(weight_array,biases_array)

sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(optimizer=sgd, loss='categorical_crossentropy')
out = model.predict(im)
print out.shape
print out
Publicado 13/01/2016 em 05:25
fonte usuário
Em outras línguas...                            


1 respostas

votos
1

Esta é a definição de convolução. Ele tem a vantagem de que se você convolve uma imagem que consiste em apenas zeros com exceção de um único 1 em algum lugar, a convolução irá colocar uma cópia do filtro nessa posição.

Theano faz exatamente essas circunvoluções, como definido matematicamente. Isto implica lançando os filtros (a operação é filter[:, :, ::-1, ::-1]) antes de tomar produtos de ponto com os patches de imagem. Note-se que estes não são rotações por 180 graus, pelo menos não em geral.

Parece que o que você está procurando é de correlação cruzada, o que está levando produtos de ponto com as versões não-invertidas das filtros em cada ponto da imagem.

Veja também esta resposta em que theano.tensor.nnet.conv2dé mostrado para fazer exatamente a mesma coisa que a scipycontraparte.

Respondeu 13/01/2016 em 07:10
fonte usuário

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more