#!/bin/bash
# cd sanyuan.hy@172.24.186.73:/mnt/sanyuan.hy/workspace/LucaCell/dataset/lucacell-2048pos

# 1. 创建存放目录
mkdir -p val test train

# 2. 提取第一个文件的表头并初始化汇总文件
FIRST_FILE=$(ls shuffled_part_*.csv | head -n 1)
head -n 1 "$FIRST_FILE" > val/val.csv
head -n 1 "$FIRST_FILE" > test/test.csv

echo "开始处理文件..."

# 3. 循环处理每一个 CSV
for f in shuffled_part_*.csv; do
    echo "正在从 $f 提取数据..."
    # 获取最后 400 行并保存到临时文件
    tail -n 400 "$f" > temp_400.csv
    # 检查行数是否足够（安全检查）
    LINE_COUNT=$(wc -l < temp_400.csv)
    if [ "$LINE_COUNT" -ne 400 ]; then
        echo "警告: $f 行数不足 400 行，跳过此文件。"
        continue
    fi
    # 将前 200 行追加到验证集
    head -n 200 temp_400.csv >> val/val.csv
    # 将后 200 行追加到测试集
    tail -n 200 temp_400.csv >> test/test.csv
    # --- 核心步骤：从原文件中删除最后 400 行 ---
    # 计算这 400 行占用的字节数（包括换行符）
    BYTES_TO_REMOVE=$(wc -c < temp_400.csv)
    # 获取原文件总字节数
    CURRENT_SIZE=$(stat -c%s "$f")
    # 计算保留部分的字节数
    NEW_SIZE=$((CURRENT_SIZE - BYTES_TO_REMOVE))
    # 使用 truncate 直接截断文件（瞬间完成，不产生磁盘读写流）
    truncate -s $NEW_SIZE "$f"
    echo "  $f 处理完成。原文件已截断。"
done

# 删除临时文件
rm temp_400.csv

echo "所有操作已完成！"
echo "验证集位置: val/val.csv"
echo "测试集位置: test/test.csv"

# 剩余文件放入训练集
# mv shuffled_part_*.csv  train/

