linux 分割一定大小,Linux中csv文件按照指定大小进行分割的shell（方法）

╰半夏微凉° 2023-01-22 04:50 12阅读 0赞

需求：将一个CSV文件按照指定大小进行分割

原因：自己编写shell的原因是,自带的split是可以按照文件大小进行分割的，结果是文件最后一行可能被截断。最后一行数据分成两截在两个文件中。为了达到最终文件也是一行一行完整的存储，自己写了一个shell。

\#!/bin/bash

source /etc/profile

export JAVA\_HOME=/usr/java/jdk1.7.0\_80

size=$1

file=$2

FileSize=\`ls -l $file |awk '\{print $5\}'\`

res=\`echo "scale=2;$FileSize/(1024\*1024\*$size)+0.1" |bc\` \#根据要求的大小，算需要分割为多少个文件

lines=\`wc -l $file |awk '\{print $1\}'\`

echo orginal file lines is $lines, split file less than $1M, file number '>' $res

num=\`echo "$lines/$res" |bc\`

\# 判断目录是否存在

if \[\[ $3 == \*/\* \]\]

then

\#获得目录 dist\_10040503\_res/tianmao\_ 截取dist\_10040503\_res/为目录

\# -v awk\_all="$3" 是shell给awk传参数的做法 此处的$3是shell的外部参数

dic=\`awk -v awk\_all="$3" 'BEGIN\{info=awk\_all;tlen=split(info,tA,"/");dic=length(info)-length(tA\[tlen\]);\{print substr(info,1,dic)\}\}'\`

if \[\[ ! -d "$dic" \]\]

then

mkdir -p $dic

fi

fi

splitFile=\`split -l $num $file $3\`

\# 修改后缀

for i in $3\*

do

fileName="$i"".csv"

echo $fileName

mv $i $i".csv"

done

文件按照大小进行切分

参数1(最终文件大小要小于的数字)

参数2(要切分的文件)

参数3(最终文件存放的位置/文件名字的前缀 或者文件的前缀)

如果参数3格式是 dist\_1005773/test\_dist\_1005773\_ 则认为最终的文件存放在dist\_1005773目录下以test\_dist\_1005773\_开头

如果参数3格式是 test\_dist\_1005773\_ 则认为最终的文件存放在当前目录下以test\_dist\_1005773\_开头

sh split\_file.sh 120 dist\_1005773\_1\_100651\_171218-180214.csv dist\_1005773/test\_dist\_1005773\_

发表评论取消回复

表情：

评论列表（有 0 条评论，12人围观）

还没有评论，来说两句吧...

相关阅读

相关按照大小分割文件的工具！

[https://zhuwansu.github.io/Docs/][https_zhuwansu.github.io_Docs] 说明日志记得很大，好几个 G

本是古典何须时尚/ 2023年06月03日 02:54/ 0 赞/ 137 阅读

相关 linux 分割一定大小,Linux中csv文件按照指定大小进行分割的shell（方法）

需求：将一个CSV文件按照指定大小进行分割原因：自己编写shell的原因是,自带的split是可以按照文件大小进行分割的，结果是文件最后一行可能被截断。最后一行数据分成两截

╰半夏微凉°/ 2023年01月22日 04:50/ 0 赞/ 13 阅读

相关 linux中改变文件大小,Linux 改变文件大小的方法

函数原型： \include int ftruncate(int fd, off\_t length); //改变文件大小为length指定大小;返回值执行成功则返回0，

旧城等待，/ 2023年01月21日 08:22/ 0 赞/ 192 阅读

相关 linux写文件超过大小,Linux生成指定大小文件的方法

\ dd if=/dev/zero of=50M.file bs=1M count=50 在当前目录下生成一个50M的文件 ————————————分隔线—————————

朱雀/ 2023年01月19日 08:12/ 0 赞/ 160 阅读

相关 java将List按照一定的大小分成多个List(分割List)

List<List<Map>> splitList(List<Map> list , int groupSize)\{ return Lists.partitio

深碍√TFBOYSˉ_/ 2022年10月11日 14:57/ 0 赞/ 447 阅读

相关 linux查找指定大小的文件

关键点：使用find命令找出当前目录[3KB,10KB]大小的文件 find ./ -size +3k -a -size -10k

柔光的暖阳◎/ 2022年08月19日 14:24/ 0 赞/ 348 阅读

相关 Log4J-重写方法，实现按照日期大小进行分割文件

1.Log4J配置 log4j.rootLogger =debug,stdout,FILE log4j.category.org.springfra

ゝ一世哀愁。/ 2022年07月15日 13:27/ 0 赞/ 418 阅读

相关 logback同时按照日期和大小分割日志

上一篇转载了用log4j来实现同时按照日期和大小来分隔日志，后来又研究了下log4j的升级版logback，用logback也来实现同时按照日期和大小来分隔日志，话不多说，直接

怼烎@/ 2022年07月12日 10:36/ 0 赞/ 242 阅读

相关 Log4j配置按照文件大小和日期分割日志文件

目录 Log4j 下载地址文件大小分割日志文件以日期分割每天产生一个日志文件自定义信息输出到日志文件 Log4j 下载地址 ----

本是古典何须时尚/ 2021年09月21日 15:28/ 0 赞/ 435 阅读

相关 linux ls 按照文件大小排序

一般我们用作在lunux查询文件都习惯是ls -ltr 按照时间逆序排列但是有的时候比如为了清理日志啥的想要按照大小排列一下，清理最大的嘛。所以就需要 ls -lS

绝地灬酷狼/ 2021年09月14日 04:04/ 0 赞/ 536 阅读