如何从我可能不知道java编码的Internet页面中删除换行符？

Question

我正在开发一个从文本文件读取URL的蜘蛛，并下载页面，在另一个文件中写入URL和文件内容，它们之间有一个\t。

当我得到页面时，它可能包含应该移动的换行符。但是在我得到页面之前，我不知道页面编码。

现在我正在使用JSOUP，因为它可以为我处理编码问题。但是我发现JSOUP解析HTML以找到使其变慢的编码。

有没有简单的方法从字符串或字节数组中删除换行符？

此代码是否适用于UTF-8或GBK？

                        byte[] buffer=new byte[4096];
                        String page="";

                        while((input.read(buffer))!=-1){
                            for(int i=0;i<buffer.length;i++)
                                if(buffer[i]=='\r'||buffer[i]=='\n'){
                                    buffer[i]=' ';
                                }
                            page+=new String(page);
                        }

我发现上面的代码在utf-8中不起作用，因为亚洲语言中的字符可能超过8或16位，所以当我将字节转换为字符串时，字符可能会被拆分。

下面的代码对我来说很好：int响应代码=connection.getResponseCode（）；

    if (responseCode >= 200 && responseCode < 300) {
                    InputStream input =connection.getInputStream();

                    byte[] buffer=new byte[BUFFER_SIZE];
                    byte[] urlBytes=(url+"\t").getBytes("ASCII");

                    System.arraycopy(urlBytes, 0, buffer, 0, urlBytes.length);
                    int t=0,index=urlBytes.length;
                    while((t=input.read())!=-1){
                        if(index>=buffer.length-1){ 
                            byte[] temp=new byte[buffer.length*3/2];
                            System.arraycopy(buffer, 0, temp, 0, buffer.length-1);
                            buffer=temp;
                        }
                        if(t=='\n'||t=='\r'){
                            t=' ';
                        }
                        buffer[index++]=(byte)t;
                    }
                    buffer[index++]='\n';

Answer 1

根据操作系统的不同，新行可以是 \n、\r\n 或有时是 \r，但这些是 ASCII 字符，如果编码是 ASCII 的超集，则它们始终相同。在这种情况下，只需删除页面中的所有 \r 和 \n。

然而，这不适用于其他编码，如UTF-16。