golang读取文件行

在Golang中，我们可以使用标准库的bufio包来读取文件的每一行，并将其存储在字符串切片中。这个功能非常实用，无论是处理大型日志文件还是进行文本分析，都能够帮助我们高效地处理文件操作。

读取文件行的基本方法

要读取文件的每一行，我们可以使用bufio包中的NewScanner函数创建一个新的Scanner对象。然后，我们可以使用Scanner对象的Scan方法逐行读取文件内容。

file, err := os.Open("example.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

scanner := bufio.NewScanner(file)
for scanner.Scan() {
    line := scanner.Text()
    // 处理每一行的逻辑
}

if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

高效处理大型文件

对于大型文件，为了避免一次性加载整个文件到内存中，我们可以使用Scanner的Buffer方法进行缓冲区设置。通过设置适当的缓冲区，我们可以在不占用太多内存的情况下高效地读取大型文件。

const bufferSize = 65536

file, err := os.Open("large_file.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

scanner := bufio.NewScanner(file)
buffer := make([]byte, bufferSize)
scanner.Buffer(buffer, bufferSize) 
for scanner.Scan() {
    line := scanner.Text()
    // 处理每一行的逻辑
}

if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

定制Scanner的分隔符

默认情况下，Scanner会按行分割文本文件，将每一行作为一个字符串返回。但是，在某些情况下，我们可能需要根据特定的分隔符来读取文件内容。

file, err := os.Open("data.csv")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

scanner := bufio.NewScanner(file)
scanner.Split(bufio.ScanWords)  // 以空格分割文本
for scanner.Scan() {
    word := scanner.Text()
    // 处理每个单词的逻辑
}

if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

通过调用Scanner的Split方法，并传递我们期望的分隔符函数，我们可以自定义Scanner的行为。这使得我们可以轻松地处理由各种分隔符分割的文件，包括逗号、制表符等。

总之，使用Golang的bufio包可以帮助我们高效地读取和处理文件的每一行。我们可以根据文件的大小选择适当的缓冲区大小，还可以定制Scanner的分隔符来处理各种文件结构。这些功能加上Golang本身的高效性能，使得文件处理变得简单而高效。