转载

读取大文件性能测试

读取大文件的方法这里有三种，

第一种，使用commons-io的FileUtils的类进行读取

第二种，使用Scanner进行读取

第三种，使用cache进行读取

读取文件大小：102M

使用commons-io的FileUtils类进行读取

public static void testReadFile() {  try {   LineIterator lineIterator = FileUtils.lineIterator(new File("D:/test.log"), "UTF-8");   while (lineIterator.hasNext()) {    String line = lineIterator.nextLine();    System.out.println(line);   }  } catch (IOException e) {   e.printStackTrace();  } }

读取时间在8秒左右

使用Scanner进行读取：

public static void testScannerReadFile() {  FileInputStream fileInputStream = null;  Scanner scanner = null;  try {   fileInputStream = new FileInputStream("D:/test.log");   scanner = new Scanner(fileInputStream, "UTF-8");   while (scanner.hasNext()) {    String line = scanner.nextLine();    System.out.println(line);   }  } catch (FileNotFoundException e) {   e.printStackTrace();  } finally {   if (fileInputStream != null) {    try {     fileInputStream.close();    } catch (IOException e) {     e.printStackTrace();    }   }   if (scanner != null) {    scanner.close();   }  } }

读取时间在10秒左右

使用cache读取

public static void readCache() {  String filename = "D:/test.log";  File file = new File(filename);  BufferedReader reader = null;  try {   reader = new BufferedReader(new FileReader(file), 10 * 1024 * 1024);   //读大文件 设置缓存   String tempString = null;   while ((tempString = reader.readLine()) != null) {    System.out.println(tempString);   }   reader.close();  } catch (IOException e) {   e.printStackTrace();  } finally {   if (reader != null) {    try {     reader.close();    } catch (IOException e) {     e.printStackTrace();    }   }  } }