golang下载文件

Golang是一种开源的编程语言，最初由Google公司开发并于2009年发布。它具有简洁、高效、可靠等特点，在服务器后端开发、网络编程、云计算等领域得到广泛应用。在本文中，我们将探讨如何使用Golang下载文件。

使用http包下载文件

在Golang中，我们可以使用标准库中的http包来进行文件的下载。其中，http.Get()函数可用于向指定URL发送HTTP GET请求，并返回响应。

下面是一个简单的例子，演示了如何使用http包下载文件：

package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
)

func main() {
	fileURL := "https://example.com/sample.pdf"
	err := DownloadFile("sample.pdf", fileURL)
	if err != nil {
		fmt.Println(err)
	}
}

func DownloadFile(filepath string, url string) error {
	resp, err := http.Get(url)
	if err != nil {
		return err
	}
	defer resp.Body.Close()

	out, err := os.Create(filepath)
	if err != nil {
		return err
	}
	defer out.Close()

	_, err = io.Copy(out, resp.Body)
	return err
}

支持断点续传的文件下载

上述的示例代码实现了简单的文件下载功能，但如果下载过程中出现网络中断或程序异常退出等情况，可能会导致下载的文件不完整。为了解决这个问题，我们可以使用支持断点续传的方式进行文件下载。

在Golang中，我们可以通过设置HTTP请求的Range头来指定下载文件的范围。例如，使用http.Header对象的Add()方法可以添加Range头：

req, err := http.NewRequest("GET", url, nil)
if err != nil {
	return err
}

fileSize, err := GetFileSize(url) // 获取文件总大小
if err != nil {
	return err
}

rangeHeader := fmt.Sprintf("bytes=%d-", downloadedSize)
req.Header.Add("Range", rangeHeader)

上述代码中，我们使用GetFileSize()函数获取了文件的总大小，并通过计算已下载的文件大小来指定Range头的起始位置。

多线程断点续传下载

除了支持断点续传，我们还可以使用多线程的方式提高文件下载的速度。在Golang中，可以使用goroutine和channel来实现多线程下载。

下面是一个简单的多线程断点续传下载文件的示例：

package main

import (
	"fmt"
	"io"
	"net/http"
	"os"
	"strconv"
	"sync"
)

func main() {
	fileURL := "https://example.com/sample.pdf"
	err := MultiThreadDownload("sample.pdf", fileURL, 4)
	if err != nil {
		fmt.Println(err)
	}
}

func MultiThreadDownload(filepath string, url string, numThreads int) error {
	fileSize, err := GetFileSize(url)
	if err != nil {
		return err
	}

	chunkSize := fileSize / numThreads
	var wg sync.WaitGroup
	wg.Add(numThreads)

	for i := 0; i < numThreads; i++ {
		start := chunkSize * i
		end := start + chunkSize

		if i == numThreads-1 {
			end = fileSize
		}

		go func(start, end int) {
			err := DownloadChunk(filepath, url, start, end)
			if err != nil {
				fmt.Println(err)
			}
			wg.Done()
		}(start, end)
	}

	wg.Wait()

	return nil
}

func DownloadChunk(filepath string, url string, start, end int) error {
	req, err := http.NewRequest("GET", url, nil)
	if err != nil {
		return err
	}

	rangeHeader := fmt.Sprintf("bytes=%d-%d", start, end-1)
	req.Header.Add("Range", rangeHeader)

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		return err
	}
	defer resp.Body.Close()

	file, err := os.OpenFile(filepath, os.O_WRONLY|os.O_CREATE|os.O_APPEND, 0644)
	if err != nil {
		return err
	}
	defer file.Close()

	_, err = file.Seek(int64(start), 0)
	if err != nil {
		return err
	}

	_, err = io.Copy(file, resp.Body)
	if err != nil {
		return err
	}

	return nil
}

func GetFileSize(url string) (int, error) {
	resp, err := http.Head(url)
	if err != nil {
		return 0, err
	}
	defer resp.Body.Close()

	size, err := strconv.Atoi(resp.Header.Get("Content-Length"))
	if err != nil {
		return 0, err
	}

	return size, nil
}

上述代码中，我们使用sync.WaitGroup来等待所有线程下载完成。每个goroutine负责下载文件的一个分片，通过指定Range头来下载相应的数据块，并将其写入文件。

在本文中，我们介绍了如何使用Golang下载文件，并了解了支持断点续传和多线程下载的实现方式。希望这篇文章能够对你在Golang开发中的文件下载问题提供帮助。