invariância de codificação para a rede neural profunda

votos
0

Eu tenho um conjunto de dados, matriz 2D (como fotos cinza). E usar CNN para classificador. Gostaria de saber se existe algum estudo / experiência sobre o impacto precisão se alterar a codificação da codificação traditionnal.

Suponho que sim, questão é mais que a transformação da codificação tornar a precisão invariável, qual deles se deteriora ....

Para clarificar, este refere-se, principalmente, do processo de quantificao dos dados brutos em dados de entrada.

EDITAR:

Quantizar os dados brutos em dados de entrada já é um pré-processamento dos dados, a adição ou a remoção de algumas características (mesmo menores). Não parece muito claro o impacto em termos de precisão a este processo de quantização na computação DNN real. Talvez, algumas pesquisas disponíveis.

Publicado 28/04/2016 em 09:26
fonte usuário
Em outras línguas...                            


2 respostas

votos
1

Na prática habitual - uma tarefa de classificação discreta na implementação clássico - ele não terá nenhum efeito. No entanto, o ponto crítico é nos cálculos iniciais para voltar-propagação. A definição clássica depende apenas de estrita igualdade das aulas previstas e "verdade de base": a / avaliação errada simples direita. Mudando a codificação de classe não tem nenhum efeito sobre se ou não a previsão é igual à aula de treinamento.

No entanto, esta função pode ser alterada. Se você alterar o código para ter algo diferente de um direito de pontuação / errado, algo que depende da escolha de codificação, então as mudanças que codificam pode definitivamente ter um efeito. Por exemplo, se você está classificando filmes em uma escala de 1-5, você provavelmente quer 1 vs 5 de contribuir com uma perda superior a 4 vs 5.

Será que esta razoavelmente lidar com suas preocupações?


Eu vejo agora. Minha resposta acima é útil ... mas não para o que você está pedindo. Eu tive meu olho na codificação de classificação; você está se perguntando sobre a entrada.

Por favor, note que pedir recursos fora do local é um clássico off-topic categoria pergunta. Não tenho conhecimento de qualquer tal pesquisa - para o pouco que vale a pena.

Obviamente, deve haver algum efeito, como você está alterando os dados introduzidos. O efeito seria dependente da transformação de quantização particular, bem como a aplicação individual.

Eu tenho algumas observações limitada de escopo de análise de dados grande gerais.

No nosso ambiente típico, onde os dados foram espalhados com alguma organização inerente dentro do seu espaço natural (dimensões F, onde F é o número de recursos), muitas vezes usamos dois passos de quantização simples: (1) Escala todos os valores de recurso para um inteiro conveniente gama, tais como 0-100; (2) Identificar micro-agregados naturais, e representam todos os valores agrupados (tipicamente não mais do que 1% da entrada) por centróide do agrupamento.

Isto acelera o processamento analítico pouco. Dado o agrupamento de grão fino, tem pouco efeito sobre a saída de classificação. Na verdade, às vezes melhora a precisão minuciosa, como o agrupamento fornece lacunas mais amplas entre os pontos de dados.

Tomar com um grão de sal, como este não é o foco principal dos nossos esforços.

Respondeu 28/04/2016 em 15:33
fonte usuário

votos
1

Eu não estou ciente de qualquer pesquisa que tratam especificamente com quantização de dados de entrada, mas você pode querer verificar para fora alguns trabalhos relacionados na quantificação de parâmetros CNN: http://arxiv.org/pdf/1512.06473v2.pdf . Dependendo do que o seu objectivo final é, a abordagem "Q-CNN" pode ser útil para você.

A minha própria experiência com o uso de vários quantizations dos dados de entrada para CNNs foi que há uma dependência pesada entre o grau de quantização e do próprio modelo. Por exemplo, eu jogado em torno com a utilização de vários métodos de interpolação para reduzir o tamanho de imagem e a redução do tamanho paleta de cores, e no final, descobri que cada variante necessária uma afinação diferente de hiper-parâmetros para conseguir os resultados óptimos. Geralmente, descobri que menor quantização de dados teve um impacto insignificante, mas não havia um joelho na curva onde jogar fora informações adicionais impactado drasticamente a precisão possível. Infelizmente, eu não estou ciente de qualquer maneira de determinar qual o grau de quantização será o ideal sem experimentação, e até mesmo decidir o que'

Em uma nota teórica, tenha em mente que CNNs precisam ser capazes de encontrar recursos úteis, espacialmente locais, por isso é provavelmente razoável supor que qualquer codificação que perturba a "estrutura" básica da entrada teria um efeito significativamente negativo sobre a precisão possível.

Respondeu 29/04/2016 em 00:14
fonte usuário

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more