使用Java实现对文件的拆分

﹏ヽ暗。殇╰゛Y 2023-10-06 13:21 100阅读 0赞

### 指定拆分后的文件数量对文件进行拆分 ###

逻辑十分简单：通过文件的大小和拆分的数量确定每个文件的大小。由于缓冲区的设计，每个文件的大小存在肉眼不可见的误差(1KB之内，具体的差值由你设定的缓冲区大小决定)。废话不多说直接上代码…

import java.io.*;
    import java.nio.ByteBuffer;
    import java.nio.channels.FileChannel;
    import java.util.ArrayList;
    import java.util.List;
    
    /**
     * 对文件进行拆分
     *
     * @author Saint
     * @version 1.0
     * @date 2020/7/15 14:44
     */
    public class TxtSplit {
        
    
        public static List<String> splitFile(String filePath, int fileCount) throws IOException {
        
    
            //返回的集合
            List<String> list = new ArrayList<>();
    
            int index = filePath.lastIndexOf("\\");
            int endIndex = filePath.lastIndexOf(".");
            //新的文件前缀
            String fileNamePre = filePath.substring(index + 1, endIndex);
            //新的文件路径前缀
            String filePathPre = filePath.substring(0, index + 1);
    
            FileInputStream fis = new FileInputStream(filePath);
            FileChannel inputChannel = fis.getChannel();
            final long fileSize = inputChannel.size();
            //平均值
            long average = fileSize / fileCount;
            //缓存块大小，200B
            long bufferSize = 200;
            // 申请一个缓存区
            ByteBuffer byteBuffer = ByteBuffer.allocate(Integer.valueOf(bufferSize + ""));
            //子文件开始位置
            long startPosition = 0;
            //子文件结束位置
            long endPosition = average < bufferSize ? 0 : average - bufferSize;
            for (int i = 0; i < fileCount; i++) {
        
                if (i + 1 != fileCount) {
        
                    // 读取数据
                    int read = inputChannel.read(byteBuffer, endPosition);
                    readW:
                    while (read != -1) {
        
                        //切换读模式
                        byteBuffer.flip();
                        byte[] array = byteBuffer.array();
                        for (int j = 0; j < array.length; j++) {
        
                            byte b = array[j];
                            //判断\n\r
                            if (b == 10 || b == 13) {
        
                                endPosition += j;
                                break readW;
                            }
                        }
                        endPosition += bufferSize;
                        //重置缓存块指针
                        byteBuffer.clear();
                        read = inputChannel.read(byteBuffer, endPosition);
                    }
                } else {
        
                    //最后一个文件直接指向文件末尾
                    endPosition = fileSize;
                }
                String fileName = filePathPre + fileNamePre + (i + 1) + ".txt";
                FileOutputStream fos = new FileOutputStream(fileName);
                FileChannel outputChannel = fos.getChannel();
                //通道传输文件数据
                inputChannel.transferTo(startPosition, endPosition - startPosition, outputChannel);
                //将文件添加到返回的集合中
                list.add(fileName);
                outputChannel.close();
                fos.close();
                startPosition = endPosition + 1;
                endPosition += average;
            }
            inputChannel.close();
            fis.close();
    
            return list;
        }
    
        /*public static void main(String[] args) throws IOException {
    
            long startTime = System.currentTimeMillis();
            splitFile("D:\\数据.txt",3);
            long endTime = System.currentTimeMillis();
            System.out.println("耗费时间： " + (endTime - startTime) + " ms");
    
        }*/
    }

上述代码存在一个小bug：拆分后的文件末有一个空行。但其在我的业务场景下没有影响，如果诸位大牛有兴趣，还望在评论区不吝赐教。  
  
  
此处附赠单个TXT文件的排序（文件大小不能超过JVM的最大内存设置）

import java.io.*;
    import java.util.ArrayList;
    import java.util.Collections;
    
    /**
     * 对单个TXT文本进行排序
     *
     * @author Saint
     * @version 1.0
     * @date 2020/7/15 15:53
     */
    public class TxtSingleSort {
        
    
        /**
         * 对单个文件中的内容按行排序
         *
         * @param filePath 文件路径
         * @return 返回一个文件名
         */
        public static File SortedSingleTxt(String filePath) {
        
            int index = filePath.lastIndexOf("\\");
            int endIndex = filePath.lastIndexOf(".");
            //新的文件前缀
            String fileNamePre = filePath.substring(index + 1, endIndex);
            //新的文件路径前缀
            String filePathPre = filePath.substring(0, index + 1);
            String outFilePath = filePathPre + fileNamePre + "_sorted.txt";
    
            File fileIn = new File(filePath);
            File fileOut = new File(outFilePath);
            //排序使用
            ArrayList<String> arrayList = null;
            BufferedReader in = null;
            BufferedWriter out = null;
    
            try {
        
                //从文件中读
                in = new BufferedReader(new InputStreamReader(new FileInputStream(fileIn)));
                //输出到文件
                out = new BufferedWriter(new OutputStreamWriter(new FileOutputStream(fileOut)));
                //给ArrayList设置容量为1百万 + 1千
                arrayList = new ArrayList<>(1001000);
                String line;
                while ((line = in.readLine()) != null) {
        
                    //去掉拆分文件时，子文件最上方的空格
                    if (line.trim().length() > 0) {
        
                        arrayList.add(line);
                    }
                }
            } catch (FileNotFoundException ex) {
        
                ex.printStackTrace();
            } catch (IOException ex) {
        
                ex.printStackTrace();
            } finally {
        
                try {
        
                    in.close();
                } catch (IOException e) {
        
                    e.printStackTrace();
                }
            }
            Collections.sort(arrayList);
            int i = 0;
            int size = arrayList.size();
            //将排序后的内容输出到文件中
            for (String s : arrayList) {
        
                try {
        
                    out.write(s);
                    i++;
                    //添加最后一个元素之后不再添加空行
                    if (i != size) {
        
                        out.newLine();
                    }
                } catch (IOException e) {
        
                    e.printStackTrace();
                }
            }
            try {
        
                out.close();
            } catch (IOException e) {
        
                e.printStackTrace();
            }
            //删除未排序的旧文件
            fileIn.delete();
    
            return fileOut;
        }
    
        /*public static void main(String[] args) {
            long startTime = System.currentTimeMillis();
            SortedSingleTxt("D:\\xzhou.saint\\0088\\sort\\0088大数据1.txt");
            SortedSingleTxt("D:\\xzhou.saint\\0088\\sort\\0088大数据2.txt");
            SortedSingleTxt("D:\\xzhou.saint\\0088\\sort\\0088大数据3.txt");
            long endTime = System.currentTimeMillis();
            System.out.println("耗费时间： " + (endTime - startTime) + " ms");
        }*/
    
    }