Verzeichnis durchsuchen geschwindigkeit optimieren

[bananenkasper]

Hallo zusammen,

ich versuche ein verzeichnis rekursiv zu durchsuchen.
Klappt auch soweit.
Allerdigns ist die Performance erbärmlich.

Bisher habe ich es so gelöst:

import java.io.File;
import java.io.FileFilter;
import java.io.IOException;
import java.util.Arrays;
import java.util.LinkedList;
import java.util.List;
import java.util.concurrent.ExecutionException;


public class Test {
	
	private final static FileFilter DIR_FILTER = new FileFilter() {
		public boolean accept(File pathname) {
			if (pathname.isDirectory())
				return true;
			return false;
		}
	};

	private final List<File> dirList = new LinkedList<File>();
	
	public static void main(String[] args) {
		final String searchString = args[1];
		final File searchDir = new File(args[0]);
		
		dirList.add(searchDir);
		while(dirList.size() != 0){
			File file = dirList.remove(0);
			processDir(file);
		}
	}

	private void processDir(File searchDir) {
		File[] childDirs = searchDir.listFiles(DIR_FILTER);
		dirList.addAll(Arrays.asList(childDirs));	
	}
}

Das ist bei grösseren Verzeichnissen schnell unbrauchbar langsam.
Gibt es Möglichkeiten, die Ausführung zu beschleunigen?
Währe für jeden Tipp dankbar!

 

[slawaweis]

das langsam kann nur daher kommen, dass alle Ordner in einer Liste abgespeichert werden, wobei es schon Tausende sein müssen, damit es spürbar langsam wird. Übrigens, ein interessanter Algorithmus, habe so einen noch nie gesehen. Normalerweise löst man solche Probleme mit Rekursion:

[highlight="java"]
public static void main(String[] args) {
final String searchString = args[1];
final File searchDir = new File(args[0]);

processDir(searchDir);
}
}

private void processDir(File searchDir) {
File[] childDirs = searchDir.listFiles();

for(File cd : childDirs)
if(cd.isDirectory())
processDir(cd);
}
[/highlight]

Slawa

 

[tuxedo]

Ähm, wie wär's mit Threads?

- Alex

 

[Marco13]

Wozu Threads bei so einem Miniprogramm? Das bringt da höchstwhrscheinlich auch nichts. Ggf. könnte tatsächlich dieses List-Gewurschtel unnötig Zeit kosten, aber im Vergleich zu der Zeit, die der Computer braucht, den Schreib/Lesekopf der Festplatte auf die richtige Spur zu bringen, um dann gemütlich drauf zu warten dass vielleicht "zufällig" irgendwann die Daten vorbeikommen, auf die er da gerade wartet, sollte das eigentlich vernachlässigbar sein. (Was ich sagen will: Es KANN sein, dass man das ganze nur durch eine schneller Festplatte merklich beschleunigen kann )

 

[Wildcard]

Threads können die Sache sogar deutlich langsamer machen. Ein Thread pro physikalisches Drive dürfte das schnellste sein. Zu viele Threads auf einem, und die Festplattenkopf muss mehr justieren als lesen.

 

[tuxedo]

Zu viel des guten war noch nie gut ...

 

[foobar]

Ihr liegt alle voll daneben. Das Problem ist die unnötige If-Abfrage:

public boolean accept(File pathname) {
  if (pathname.isDirectory())
	return true;
   return false;
}

Da kannste auch direkt das machen:

public boolean accept(File pathname) {
  return pathname.isDirectory();
}

SCNR