Klar, kannste machen. Musst dir im Klaren darüber sein, dass dann alle .jar-Files, die du auf deinem Rechner hast, dieses Icon haben, aber ich denke das wolltest du.
Gehe auf Systemsteuerung -> Ordneroptionen und dort auf den Reiter "Dateitypen". Dann siehst du ne kleine Tabelle mit den Spalten "Erweiterungen" und "Dateitypen". Jetzt suchst du nach der Erweiterung JAR, klickst diese an und gehst unten bei "Details über die Erweiterung JAR" auf "Erweitert". Dort kannste dann u.a. das Symbol für diese Erweiterung ändern. Achja, das ist jetzt der Weg bei Windows XP, wie das bei Vista oder gar bei ganz anderen Betriebssystem ist, weiss ich nicht, aber bei Vista ist es mit Sicherheit ein ähnlicher Weg.