Блог

У меня есть строка, которая содержит сжатую строку gzip, поэтому заголовков файлов нет, стандартная compress/gzip библиотека выдает ошибку gzip: invalid header

Как я могу распаковать сжатую строку gzip в go?

Это то, что я пытаюсь

 nbody := "eNorTk0uSi0BAAjRAoc="
rdata := strings.NewReader(nbody)
r,err := gzip.NewReader(rdata)
log.Println(r)
if err != nil {
    log.Fatal(err)
}
s, _ := ioutil.ReadAll(r)
fmt.Println(string(s))
  

Поскольку этот вопрос постоянно появляется в Google, если у вас есть реальные данные, закодированные в gzip, в строке, и вы хотите их декодировать, вот как вы это сделаете:

 import "compress/gzip";
import "bytes";
import "io/ioutil";
...

original := "gzipencodeddata";

reader := bytes.NewReader([]byte(original))
gzreader, e1 := gzip.NewReader(reader);
if(e1 != nil){
    fmt.Println(e1); // Maybe panic here, depends on your error handling.
}

output, e2 := ioutil.ReadAll(gzreader);
if(e2 != nil){
    fmt.Println(e2);
}

result := string(output);
  

… У меня есть строка, которая содержит сжатую строку gzip

 nbody := "eNorTk0uSi0BAAjRAoc="
  

Это не «сжатая строка gzip». Это похоже на некоторые данные в кодировке base64, которые необходимо сначала декодировать. После декодирования это также не gzip, а zlib, который в основном такой же, как gzip (содержимое, сжатое с помощью алгоритма deflate), но с другим заголовком файла. Поэтому попытка декодировать ее с помощью gzip не сработает.

Поэтому следующее возьмет вашу исходную строку, расшифрует ее из base64 и распакует ее с помощью zlib (не gzip):

 package main
  
import (
        "bytes"
        "compress/zlib"
        "encoding/base64"
        "fmt"
        "io/ioutil"
)

func main() {
        b64z := "eNorTk0uSi0BAAjRAoc="
        z, _ := base64.StdEncoding.DecodeString(b64z)
        r, _ := zlib.NewReader(bytes.NewReader(z))
        result, _ := ioutil.ReadAll(r)
        fmt.Println(string(result))  // results in "secret"
}
  

Если у вас большие входные данные, вы можете вместо этого использовать потоки и пользовательскую цепочку декодеров.

Преимущество заключается в том, что (за исключением этого примера) ни закодированный ввод, ни декодированный вывод не должны находиться в оперативной памяти.

 package main

import (
    "bytes"
    "compress/zlib"
    "encoding/base64"
    "fmt"
    "io"
    "log"
    "os"
    "strings"
)

const nbody = "eNorTk0uSi0BAAjRAoc="

func main() {

    _, err := io.Copy(os.Stdout, decoder(strings.NewReader(nbody)))
    if err != nil {
        log.Fatalf("Error copying decoded value to stdout: %s",err)
    }
}

// This could use any io.Reader as input, for example
// a request body in http requests
func decoder(r io.Reader) io.Reader {

    // We simply set up a custom chain of Decoders
    d, err := zlib.NewReader(
        base64.NewDecoder(base64.StdEncoding, r))

    // This should only occur if one of the Decoders can not reset
    // its internal buffer. Hence, it validates a panic.
    if err != nil {
        panic(fmt.Sprintf("Error setting up decoder chain: %s", err))
    }

    // We return an io.Reader which can be used as any other
    return d

}
  

Run on playground