Reading a .gz File Line by Line Using GZIPInputStream

1. 概述

在Java中，我们可能需要处理压缩文件，常见的格式是*.gz*，通常由GZIP工具生成。

Java内置了一个库，可以用来读取*.gz*文件，这类文件常用于日志操作。

本教程将探讨如何使用Java的GZIPInputStream类逐行读取*.gz*压缩文件。

2. 读取gzipped文件

假设我们要将一个文件的内容读入一个List。首先，我们需要找到路径上的文件：

String filePath = Objects.requireNonNull(Main.class.getClassLoader().getResource("myFile.gz")).getFile();

接下来，我们可以准备从这个文件读取内容到一个空列表：

List<String> lines = new ArrayList<>();
try (FileInputStream fileInputStream = new FileInputStream(filePath);
     GZIPInputStream gzipInputStream = new GZIPInputStream(fileInputStream);
     InputStreamReader inputStreamReader = new InputStreamReader(gzipInputStream);
     BufferedReader bufferedReader = new BufferedReader(inputStreamReader)) {

    //...
}

在try-with-resources块中，我们定义了一个FileInputStream对象来读取gzipped文件，接着有一个GZIPInputStream解压数据，最后是BufferedReader逐行读取内容。

现在，我们可以遍历文件逐行读取：

String line;
while ((line = bufferedReader.readLine()) != null) {
    lines.add(line);
}

3. 使用Java流API处理大型gzipped文件

面对大型的gzipped文件时，我们可能无法一次性加载整个文件到内存中。这时，我们可以采用流式处理的方式，边读取边处理文件内容。

3.1. 单独的方法

让我们构建一个方法，从文件中收集匹配特定子字符串的行：

try (InputStream inputStream = new FileInputStream(filePath);
     GZIPInputStream gzipInputStream = new GZIPInputStream(inputStream);
     InputStreamReader inputStreamReader = new InputStreamReader(gzipInputStream);
     BufferedReader bufferedReader = new BufferedReader(inputStreamReader)) {

     return bufferedReader.lines().filter(line -> line.contains(toFind)).collect(toList());
}

这个方法利用lines()方法从文件创建行流，然后通过filter()操作选择感兴趣的行，并用collect()收集到一个列表中。

使用try-with-resources确保了所有文件和输入流在处理完毕后正确关闭。

3.2. 使用`Consumer<Stream<String>>`

在上一个示例中，我们得益于try-with-resources来管理.gz流资源。然而，我们可能希望将方法更一般化，以处理从.gz文件实时读取的Stream<String>：

try (InputStream inputStream = new FileInputStream(filePath);
     GZIPInputStream gzipInputStream = new GZIPInputStream(inputStream);
     InputStreamReader inputStreamReader = new InputStreamReader(gzipInputStream);
     BufferedReader bufferedReader = new BufferedReader(inputStreamReader)) {

    consumer.accept(bufferedReader.lines());
}

这种做法允许调用者传递一个Consumer<Stream<String>>来操作未压缩行的流。代码通过调用accept()方法将Stream提供给Consumer，这样我们可以传递任何喜欢的东西来操作行：

useContentsOfZipFile(testFilePath, linesStream -> {
  linesStream.filter(line -> line.length() > 10).forEach(line -> count.incrementAndGet());
});

在这个例子中，我们提供了一个计数超过某个长度的行的消费者。

4. 总结

在这篇简短的文章中，我们探讨了如何在Java中读取.gz文件。

首先，我们介绍了如何使用BufferedReader和readLine()方法将文件读入列表。接着，我们展示了如何将文件视为Stream<String>，以便逐行处理，而无需一次加载所有内容到内存中。

Persistence

REST

Security