análise de sentimentos Keras com LSTM

votos
0

Eu estou tentando fazer análise de sentimentos com Keras em meus textos usando exemplo imdb_lstm.py mas eu não sei como testá-lo. I valor minha modelo e pesos em arquivo e olhar como este:

model = model_from_json(open('my_model_architecture.json').read())
model.compile(loss='binary_crossentropy',
          optimizer='adam',
          metrics=['accuracy'])
model.load_weights('my_model_weights.h5')

results = model.evaluate(X_test, y_test, batch_size=32)

mas é claro que eu não sei como deve X_test e y_test parecer. Será que alguém pls me ajudar?

Publicado 02/05/2016 em 19:56
fonte usuário
Em outras línguas...                            


1 respostas

votos
1

Em primeiro lugar , dividir o seu conjunto de dados para test, valide traine fazer alguns pré-processamento:

from tensorflow import keras

print('load data')
(x_train, y_train), (x_test, y_test) = keras.datasets.imdb.load_data(num_words=10000)
word_index = keras.datasets.imdb.get_word_index()

print('preprocessing...')
x_train = keras.preprocessing.sequence.pad_sequences(x_train, maxlen=256)
x_test = keras.preprocessing.sequence.pad_sequences(x_test, maxlen=256)

x_val = x_train[:10000]
y_val = y_train[:10000]

x_train = x_train[10000:]
y_train = y_train[10000:]

Como você vê também carregar word_indexporque precisamos dele mais tarde para converter a nossa frase para a seqüência de números inteiros.

Em segundo lugar , definir o seu modelo:

print('build model')
model = keras.Sequential()
model.add(keras.layers.Embedding(10000, 16))
model.add(keras.layers.LSTM(100))
model.add(keras.layers.Dense(16, activation='relu'))
model.add(keras.layers.Dense(1, activation='sigmoid'))

model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy'])

print('train model')
model.fit(x_train,
          y_train,
          epochs=5,
          batch_size=512,
          validation_data=(x_val, y_val),
          verbose=1)

Finalmente , savee loadseu modelo com:

print('save trained model...')
model.save('sentiment_keras.h5')
del model

print('load model...')
from keras.models import load_model
model = load_model('sentiment_keras.h5')

Você pode avaliar seu modelo com test-set:

print('evaluation')
evaluation = model.evaluate(x_test, y_test, batch_size=512)
print('Loss:', evaluation[0], 'Accuracy:', evaluation[1])

Se você quiser testar o modelo em completamente nova frase que você pode fazer:

sample = 'this is new sentence and this very bad bad sentence'
sample_label = 0
# convert input sentence to tokens based on word_index
inps = [word_index[word] for word in sample.split() if word in word_index]
# the sentence length should be the same as the input sentences
inps = keras.preprocessing.sequence.pad_sequences([inps], maxlen=256)
print('Accuracy:', model.evaluate(inps, [sample_label], batch_size=1)[1])
print('Sentiment score: {}'.format(model.predict(inps)[0][0]))
Respondeu 31/12/2018 em 15:20
fonte usuário

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more