JavaCC: Variablen zaehlen

[air_canada]

Ich arbeite gerade an meiner Masterarbeit. Dabei soll es darum gehen, Quellcodedateien in verschiedenen Programmiersprachen einlesen zu koennen und daraus Softwaremetriken zu extrahieren. Moechte ich beispielsweise die Halstead-Metrik berechnen, so benoetige ich eine Unterscheidung zwischen Variablen bzw. Konstanten und Schluesselworten der Sprache.

Derzeit gehe ich wie folgt vor: ich lese die Datei (vorerst eine Java-Quellcodedatei) mit einem generierten Javaparser ein und klappere anschliessend den Tokenstream durch. Dann sammle ich alle Identifiers in eine Map. Nun ist mein Problem, dass sich darin sowohl Schluesselworte wie System, writeln, getAbsolutePath, etc. befinden als auch die gewuenschten Variablennamen (z.B. myString, c, i, etc.).

Wie kann ich nun am besten vorgehen, um die Schluesselworte von den Variablen zu unterscheiden? Eine Moeglichkeit waere natuerlich eine Datei anzulegen, in der saemtliche Java Schluesselworte und Methodenbezeichner abgelegt sind und diese auszufiltern. Das erscheint mir ein unmachbarer Aufwand zu sein. Gibt es auch eine Mioeglichkeit das jj-File insofern anzupassen, dass ich gleich beim Token erzeugen einen anderen Typ (kind) fuer Variablen und Konstanten ausgeben kann?

 

[0x7F800000]

Naja, die schlüsselwörter kriegst du ja wohl auch so raus, sind 50 stück, kopier die aus irgendeinem Buch in deinen code, und schon kannst du sie erkennen...

Auf die restlichen Bezeichner lässt du dann Reflection los, fragst für jedes wort ab, ob es eine solche Klasse gibt, dann fragst du jede solche klasse, ob es da die und die methode gibt, und was nach dieser abfragerei übrig bleibt müssten dann eigentlich die variablenbezeichner sein. ???:L

Falls jemand vollkommen idiotischen code schreibt, und seine gewöhnliche Variablen als "Frame" und "UnmodifiableSetException" nennt, dann musst du eben nochmal genauer nachschauen, ob die gefundenen klassen auch in den importierten packages liegen und wirklich verfügbar sind. Da sollte man schon eine recht vernünftige Statistik hinbekommen, meine ich.

Was alle anderen Sprachen angeht: nicht java => keine Reflection => Viel Spaß beim größten compilerbauabenteuer deines lebens^^ Oder kA was man da machen soll...

 

[air_canada]

Danke fuer den Ansatz. An Reflection hatte ich noch gar nicht gedacht... allerdings sollte es wirklich fuer verschiedene Programmiersprachen funktionieren, daher werde ich den Weg wohl nicht einschlagen...

Die Schluesselwoerter bekomme ich heraus. Die muessen vom Compiler ja sowieso besonders behandelt werden und sind daher als Tokens gekennzeichnet.

Es geht im Grunde nur darum Bezeichner auszuklammern, die vom JavaSDK kommen. Aber ich glaube das wuerde zu aufwaendig... vielleicht zaehle ich die einfach mit zu den Variablen dazu.

 

[0x7F800000]

allerdings sollte es wirklich fuer verschiedene Programmiersprachen funktionieren, daher werde ich den Weg wohl nicht einschlagen...

Was soll denn da funktionieren? Syntaktische Analyse für "beliebige Sprachen", die einfach überall funktioniert oder wie?

 

[air_canada]

Nun ja, zumindest sollte eine syntaktische Analyse fuer C, C++, Java, VB und evtl. noch ein, zwei weitere Programmiersprachen ermoeglicht werden.

 

[Wildcard]

Sorry, aber du generierst dir einen Parser, benutzt aber nur den Lexer?
Du brauchst einen AST und die gibt's auch fertig wenn du deinen eigenen Fähigkeiten als Parser-Bauer nicht traust.
Du kannst zB den von Eclipse nehmen, oder die fertige Java Grammatik für ANTLR benutzen. Der generiert dir einen AST.

 

[Marco13]

Du kannst zB den von Eclipse nehmen, oder die fertige Java Grammatik für ANTLR benutzen. Der generiert dir einen AST.

Ein AST reicht nicht man braucht einen kompletten, abstrakten Syntax-BAUM!!! ;(


( :joke: )

 

[Wildcard]

Scherzkeks :bae:

 

[0x7F800000]

Ein AST reicht nicht man braucht einen kompletten, abstrakten Syntax-BAUM!!! ;(

Eben nicht. Das ist ja das Schlimme: da es viele Dateien in vielen Sprachen gibt, braucht man einen ganzen Syntax-Wald ;(

 

[air_canada]

Ich bin nun mit meinem Projekt recht gut vorangeschritten. Ich benutze JavaCCs Parser zur lexikalischen Analyse (Bildung einer Tokensequenz) der Eingabedatei.

Nun moechte ich gerne einen AST der Datei bilden. Dabei bin ich vorerst auf die Sprache C++ limitiert. Meine Versuche zur Generierung des AST mit JJTree scheitern jedoch bislang klaeglich. Das Problem scheint zu sein, dass das Parsen der Eingabedatei fehlschlaegt (beispielsweise bei einem simplen "using namespace std;"). Ich verwende die C++ grammar, die sich im Grammar repository von JavaCC finden laesst.

Hat jemand Erfahrung mit dem Erstellen von ASTs von C++ Eingabedateien?

 

[Wildcard]

Nimm doch ANTLR und diese C/C++ Grammatik von SUN.
main: cnd.modelimpl/src/org/netbeans/modules/cnd/modelimpl/parser/cppparser.g@7e4b493d7506

 

[air_canada]

Nimm doch ANTLR und diese C/C++ Grammatik von SUN.
main: cnd.modelimpl/src/org/netbeans/modules/cnd/modelimpl/parser/cppparser.g@7e4b493d7506

Danke fuer den Hinweis. ANTLR habe ich auch schon ausprobiert. Dabei hatte ich andere Grammatiken fuer C++ aus dem Grammar-Repository verwendet und konnte jedoch keine der Quellcodedateien erfolgreich parsen...
Allerdings muesste ich bei der Grammatik, die Du vorgeschlagen hast, ja bei der Grammatikdefinition auf Packete aus der Netbeans-IDE zurueckgreifen:

import org.netbeans.modules.cnd.modelimpl.parser.*;
import org.netbeans.modules.cnd.modelimpl.parser.Enum;
import org.netbeans.modules.cnd.modelimpl.debug.*;

Gibt es einen Weg ohne Netbeans einzubinden (entwickle unter eclipse)?

 

[Wildcard]

Ah, das hatte ich nicht gesehen...
Hier ist auch noch eine andere, versuch vielleicht mal die:
Grammar List