Java App: Não é possível ler arquivo codificado iso-8859-1 corretamente

Se você puder, tente executar o programa no depurador para ver o que está dentro corda seu 's' depois que ele for criado. É possível que ele tem conteúdo correto, mas a saída é ilegível após System.out.println (s) chamada. Nesse caso, provavelmente há incompatibilidade entre o que Java pensa é a codificação de sua saída e codificação de caracteres de seu terminal / console no Linux.

Analisar o arquivo como blocos de tamanho fixo de bytes não é bom --- o que se algum personagem tem uma representação byte que atravessa em dois blocos? Use um InputStreamReadercom a codificação de caracteres apropriada em vez disso:

 BufferedReader br = new BufferedReader(
         new InputStreamReader(
         new FileInputStream("myfile.csv"), "ISO-8859-1");

 char[] buffer = new char[4096]; // character (not byte) buffer 

 while (true)
 {
      int charCount = br.read(buffer, 0, buffer.length);

      if (charCount == -1) break; // reached end-of-stream 

      String s = String.valueOf(buffer, 0, charCount);
      // alternatively, we can append to a StringBuilder

      System.out.println(s);
 }

Btw, lembre-se de verificar se o caractere Unicode pode realmente ser exibido corretamente. Você também pode redirecionar a saída do programa para um arquivo e, em seguida, compará-lo com o arquivo original.

Como Jon Skeet sugere, o problema também pode ser consola-relacionado. Experimente System.console().printf(s)para ver se há uma diferença.

Basicamente, se ele funciona em seu PC local XP, mas não no Linux, e você estiver analisando o mesmo arquivo exato (ou seja, você transferiu de forma binária entre as casas), em seguida, ele provavelmente tem algo a ver com o System.out. chamada println. Eu não sei como você verificar a saída, mas se você fazê-lo através da ligação com um shell remoto da caixa de XP, então não é o conjunto de caracteres do shell (eo cliente) a considerar.

Além disso, o que Zach Scrivena sugere também é verdadeiro - você não pode assumir que você pode criar seqüências de blocos de dados dessa forma - ou usar um InputStreamReader ou ler os dados completos em uma matriz primeiro (obviamente, não vai trabalhar para um grande arquivo) . No entanto, uma vez que parece funcionar no XP, então eu arriscaria que isso provavelmente não é o seu problema, neste caso específico.

@ Joel - a sua própria resposta confirma que o problema é a diferença entre a codificação padrão do seu sistema operacional (UTF-8, o Java pegou) ea codificação seu terminal está usando (ISO-8859-1).

Considere este código:

public static void main(String[] args) throws IOException {
    byte[] data = { (byte) 0xF4 };
    String decoded = new String(data, "ISO-8859-1");
    if (!"\u00f4".equals(decoded)) {
        throw new IllegalStateException();
    }

    // write default charset
    System.out.println(Charset.defaultCharset());

    // dump bytes to stdout
    System.out.write(data);

    // will encode to default charset when converting to bytes
    System.out.println(decoded);
}

Por padrão, o meu Ubuntu (8,04) Terminal usa a codificação UTF-8. Com esta codificação, isto é impresso:

UTF-8
? Ô

Se alterno codificação do terminal com a norma ISO 8859-1, este é impresso:

UTF-8
ôÃ'

Em ambos os casos, os mesmos bytes estão sendo emitidos pelo programa Java:

5554 462d 380a f4c3 b40a

A única diferença está na forma como o terminal está a interpretar os bytes recebidos. Na norma ISO 8859-1, ô é codificado como 0xF4. Em UTF-8, ô é codificado como 0xC3B4. Os outros personagens são comuns a ambas as codificações.