zshのヒストリーファイルを変換するツールを作った

$ fc -l -n -t '%Y-%m-%dT%H:%M:%S.%fZ' -D 0 | tail -n 2
2021-12-20T23:23:13.20Z  0:00  echo aaaa
2021-12-20T23:23:26.20Z  0:04  sleep 4

# >| は上書きもするリダイレクトです
$ zsh-history-utils merge ~/.zhistory ~/.zsh_history >| /tmp/merged.history
# (push) 一時的に指定したファイルをヒストリの書き出し先にできる
$ fc -p /tmp/merged.history
# (pop) 問題がなさそうであれば、元々の向き先に戻す
$ fc -P
$ cp /tmp/merged.history $HISTFILE

zsh-history-utils.rs decode $HISTFILE \
  | jq -c 'select(.command | length < 150)' \
  | zsh-history-utils.rs encode -
  >| /tmp/merged.history

$ zsh-history-utils decode $HISTFILE | jq '.command | length' | uplot hist
                  ┌                                        ┐
   [  0.0,  10.0) ┤▇▇▇▇▇▇▇▇▇▇▇ 1840
   [ 10.0,  20.0) ┤▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇ 5459
   [ 20.0,  30.0) ┤▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇ 4500
   [ 30.0,  40.0) ┤▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇▇ 3117
   [ 40.0,  50.0) ┤▇▇▇▇▇▇▇▇▇▇▇▇ 1916
   [ 50.0,  60.0) ┤▇▇▇▇▇▇▇▇ 1238
   [ 60.0,  70.0) ┤▇▇▇▇▇ 747
   [ 70.0,  80.0) ┤▇▇▇▇ 593
   [ 80.0,  90.0) ┤▇▇▇ 441
   [ 90.0, 100.0) ┤▇▇ 338
   [100.0, 110.0) ┤▇▇ 278
   [110.0, 120.0) ┤▇ 234
   [120.0, 130.0) ┤▇ 174
   [130.0, 140.0) ┤▇ 110
   [140.0, 150.0) ┤▇ 134
   [150.0, 160.0) ┤ 7
                  └                                        ┘
                                  Frequency

// 以下より抜粋して改変(エラー処理や、ヒープ周りの処理の省略)。コメントは筆者のもの
// https://github.com/zsh-users/zsh/blob/6b763233b2d7db08ed4c16400356d7deb292fe50/Src/utils.c#L4821

char* metafy(char *buf, int len, int heap)
{
    // 処理対象がいくつあるか
    int meta = 0;
    for (e = buf; e < buf + len;)
        // imetaは渡された文字が処理対象かを判定するマクロ
        // `short int typtab[256]` というものがありこれを元に判定をする
        if (imeta(*e++))
          meta++;

    // バッファを増やす
    buf = zrealloc(buf, len + meta + 1);

    while (meta) {
        if (imeta(*--t = *--p)) {
            *t-- ^= 32;
            *t = Meta;
            meta--;
        }
    }
    *e = '\0';
    return buf;
}

// https://github.com/watiko/zsh-history-utils/blob/af9eceefa673af0ab2a0f91bf61a4d73bffa314d/src/zsh/core.rs#L61-L75

pub fn metafy(str: &[u8]) -> Vec<u8> {
    let mut buf = vec![];

    for &c in str {
        if !is_meta_char(c) {
            buf.push(c);
            continue;
        }

        buf.push(META);
        buf.push(c ^ META_MASK);
    }

    buf
}

// https://github.com/zsh-users/zsh/blob/6b763233b2d7db08ed4c16400356d7deb292fe50/Src/hist.c#L3021-L3040
// https://github.com/watiko/zsh-history-utils/blob/af9eceefa673af0ab2a0f91bf61a4d73bffa314d/src/zsh/history.rs#L97-L120

pub struct HistoryEntry {
    pub start_time: u64,
    pub finish_time: u64,
    pub command: String,
}

impl HistoryEntry {
    pub fn to_bytes(&self) -> Vec<u8> {
        let duration = self.finish_time - self.start_time;

        let mut read_buf = format!(": {}:{};", self.start_time, duration).into_bytes();
        read_buf.extend_from_slice(&metafy(self.command.as_bytes()));

        let mut buf = vec![];
        let mut end_backslashed = false;
        for c in read_buf {
            // 複数行ある場合で、最後の行がバックスラッシュで終わっているかどうか
            // ただし、バックスラッシュの後ろに空白が続いても良い
            end_backslashed = c == b'\\' || (end_backslashed && c == b' ');

            if c == b'\n' {
                // 履歴の区切りの改行と区別がつくようにバックスラッシュをつける
                // 言い換えると、 b'\\', b'\n' という並びは一つの履歴が改行されていることを意味する
                buf.push(b'\\');
            }
            buf.push(c);
        }

        if end_backslashed {
            // これがないと履歴の中の改行と見分けがつかない
            // エスケープとしての空白なのでパース時には除去する必要がある
            buf.push(b' ');
        }
        // 履歴の区切り
        buf.push(b'\n');

        buf
    }
}

$ hyperfine \
  'zsh-history-utils.deno merge .zhistory .zsh_history > /dev/null' \
  'zsh-history-utils.rs merge .zhistory .zsh_history > /dev/null'
Benchmark 1: zsh-history-utils.deno merge .zhistory .zsh_history > /dev/null
  Time (mean ± σ):      3.480 s ±  0.106 s    [User: 3.271 s, System: 0.350 s]
  Range (min … max):    3.311 s …  3.677 s    10 runs

Benchmark 2: zsh-history-utils.rs merge .zhistory .zsh_history > /dev/null
  Time (mean ± σ):      72.8 ms ±  19.1 ms    [User: 59.8 ms, System: 9.2 ms]
  Range (min … max):    61.2 ms … 162.5 ms    34 runs

  Warning: Statistical outliers were detected. Consider re-running this benchmark on a quiet PC without any interferences from other programs. It might help to use the '--warmup' or '--prepare' options.

Summary
  'zsh-history-utils.rs merge .zhistory .zsh_history > /dev/null' ran
   47.80 ± 12.63 times faster than 'zsh-history-utils.deno merge .zhistory .zsh_history > /dev/null'