Como retornar história de perda de validação em Keras

votos
22

Usando Anaconda Python 2.7 Windows 10.

Estou treinando um modelo de linguagem usando o exmaple Keras:

print('Build model...')
model = Sequential()
model.add(GRU(512, return_sequences=True, input_shape=(maxlen, len(chars))))
model.add(Dropout(0.2))
model.add(GRU(512, return_sequences=False))
model.add(Dropout(0.2))
model.add(Dense(len(chars)))
model.add(Activation('softmax'))

model.compile(loss='categorical_crossentropy', optimizer='rmsprop')

def sample(a, temperature=1.0):
    # helper function to sample an index from a probability array
    a = np.log(a) / temperature
    a = np.exp(a) / np.sum(np.exp(a))
    return np.argmax(np.random.multinomial(1, a, 1))


# train the model, output generated text after each iteration
for iteration in range(1, 3):
    print()
    print('-' * 50)
    print('Iteration', iteration)
    model.fit(X, y, batch_size=128, nb_epoch=1)
    start_index = random.randint(0, len(text) - maxlen - 1)

    for diversity in [0.2, 0.5, 1.0, 1.2]:
        print()
        print('----- diversity:', diversity)

        generated = ''
        sentence = text[start_index: start_index + maxlen]
        generated += sentence
        print('----- Generating with seed: ' + sentence + '')
        sys.stdout.write(generated)

        for i in range(400):
            x = np.zeros((1, maxlen, len(chars)))
            for t, char in enumerate(sentence):
                x[0, t, char_indices[char]] = 1.

            preds = model.predict(x, verbose=0)[0]
            next_index = sample(preds, diversity)
            next_char = indices_char[next_index]

            generated += next_char
            sentence = sentence[1:] + next_char

            sys.stdout.write(next_char)
            sys.stdout.flush()
        print()

De acordo com a documentação Keras, o model.fitmétodo retorna uma chamada de retorno História, que tem um atributo de histórico contendo as listas de perdas sucessivas e outras métricas.

hist = model.fit(X, y, validation_split=0.2)
print(hist.history)

Depois de treinar o meu modelo, se eu correr print(model.history)eu recebo o erro:

 AttributeError: 'Sequential' object has no attribute 'history'

Como posso devolver o meu histórico do modelo após o treinamento o meu modelo com o código acima?

ATUALIZAR

A questão era que:

O seguinte tinha que primeiro ser definida:

from keras.callbacks import History 
history = History()

A opção de chamadas de retorno teve que ser chamado

model.fit(X_train, Y_train, nb_epoch=5, batch_size=16, callbacks=[history])

Mas agora se eu imprimir

print(history.History)

ele retorna

{}

mesmo que eu corri uma iteração.

Publicado 30/04/2016 em 07:45
fonte usuário
Em outras línguas...                            


8 respostas

votos
4

O dicionário com histórias de "acc", "perda", etc. está disponível e salvos em hist.historyvariável.

Respondeu 30/04/2016 em 08:33
fonte usuário

votos
13

Tem sido resolvido.

As perdas só poupar para a História ao longo das épocas. Eu estava correndo iterações em vez de usar o Keras construída opção épocas em.

então ao invés de fazer 4 iterações agora tenho

model.fit(......, nb_epoch = 4)

Agora ele retorna a perda para cada execução época:

print(hist.history)
{'loss': [1.4358016599558268, 1.399221191623641, 1.381293383180471, h1.3758836857303727]}
Respondeu 30/04/2016 em 14:00
fonte usuário

votos
4

Apenas um exemplo iniciado a partir

history = model.fit(X, Y, validation_split=0.33, nb_epoch=150, batch_size=10, verbose=0)

Você pode usar

print(history.history.keys())

para listar todos os dados na história.

Depois, você pode imprimir o histórico de perda de validação assim:

print(history.history['val_loss'])
Respondeu 26/09/2017 em 07:58
fonte usuário

votos
0

Outra opção é CSVLogger: https://keras.io/callbacks/#csvlogger . Ele cria um arquivo CSV anexando o resultado de cada época. Mesmo se você interromper o treinamento, você começa a ver como ele evoluiu.

Respondeu 25/12/2017 em 02:32
fonte usuário

votos
1

Eu também descobri que você pode usar verbose=2para fazer keras imprimir as Perdas:

history = model.fit(X, Y, validation_split=0.33, nb_epoch=150, batch_size=10, verbose=2)

E que iria imprimir linhas agradáveis ​​como este:

Epoch 1/1
 - 5s - loss: 0.6046 - acc: 0.9999 - val_loss: 0.4403 - val_acc: 0.9999

De acordo com sua documentação :

verbose: 0, 1, or 2. Verbosity mode. 0 = silent, 1 = progress bar, 2 = one line per epoch.
Respondeu 17/03/2018 em 05:18
fonte usuário

votos
0

O simples código a seguir funciona muito bem para mim:

    seqModel =model.fit(x_train, y_train,
          batch_size      = batch_size,
          epochs          = num_epochs,
          validation_data = (x_test, y_test),
          shuffle         = True,
          verbose=0, callbacks=[TQDMNotebookCallback()]) #for visualization

Certifique-se de atribuir a função de ajuste de uma variável de saída. Em seguida, você pode acessar essa variável muito facilmente

# visualizing losses and accuracy
train_loss = seqModel.history['loss']
val_loss   = seqModel.history['val_loss']
train_acc  = seqModel.history['acc']
val_acc    = seqModel.history['val_acc']
xc         = range(num_epochs)

plt.figure()
plt.plot(xc, train_loss)
plt.plot(xc, val_loss)

Espero que isto ajude. fonte: https://keras.io/getting-started/faq/#how-can-i-record-the-training-validation-loss-accuracy-at-each-epoch

Respondeu 02/05/2018 em 13:52
fonte usuário

votos
0

Na verdade, você também pode fazê-lo com o método de iteração. Porque às vezes nós pode precisar usar o método de iteração em vez do método épocas built-in para visualizar os resultados do treino após cada iteração.

history = [] #Creating a empty list for holding the loss later
for iteration in range(1, 3):
    print()
    print('-' * 50)
    print('Iteration', iteration)
    result = model.fit(X, y, batch_size=128, nb_epoch=1) #Obtaining the loss after each training
    history.append(result.history['loss']) #Now append the loss after the training to the list.
    start_index = random.randint(0, len(text) - maxlen - 1)
print(history)

Desta forma, permite-lhe obter a perda quiser, mantendo o seu método de iteração.

Respondeu 17/05/2018 em 04:03
fonte usuário

votos
0

Para traçar a perda diretamente as seguintes obras:

model.fit(X, Y, epochs= ... )
plt.plot(list(model.history.history.values())[0],'k-o')
Respondeu 05/07/2019 em 14:04
fonte usuário

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more