Suche Datenquelle für lizenz-informationen

[BlackViruZ]

Hallo Meine Geehrten Kollegen ;-)

Hier eine Einleitung für den Hintergrund - Wers eilig hat bitte nach unten zur Fetten Überschrift springen ;-)
Hier mal ein etwas.. sagen wir.. weniger explizit programmatisches Problem
Ich schreibe derzeit für mein Unternehmen ein Maven 3 Plugin zur License Compliance welches folgendes macht:
Es löst die Abhängigkeiten eines Maven projekts während dem builds auf, versucht die verschiedenen Lizenzen der einzelnen Artefakte festzustellen, und gibt 'validiert' die lizenzen anschließend gegen die Infomation eines Dokuments (xml) welches die lizenzen in verschiedene Kategorien einteilt.
Kenner von Maven builds werden nun sagen "das gibt es schon" - da stimme ich euch zu - Es gibt bereits das "license-verifier" plugin von soebes.com, allerdings hat dieses plugin diverse Features nicht die wir brauchen.
Das Hauptfeature welches mein Plugin bietet ist einfache Erweiterbarkeit. So werden beispielsweise anstatt ausschließlich die lizenzen aus den POM files der verschiedenen Projekte zu entnehmen habe werden bei meinem Plugin potenziell mehrere Datenquellen nacheinander zur Rate gezogen um die Lizenzen festzustellen.



Nun für die tapferen, die es geschafft haben sich durch die Einleitung zu kämpfen (oder Sie übersprugen haben ^^) hier das Problem ;-):
Als eine der Quellen war (von meinen Vorgesetzten) aus die seite olex.openlogic.com genannt worden. Damals hies es, die Seite würde eine API zum zugriff auf die zugrundeliegende Datenbank anbieten - Was nicht der fall ist.
Daraufhin wollte ich via HTTP request die HTML antworten parsen. Das Problem hierbei: die Seite lädt.. sagen wir mal gelinde.. EXTREM viel dynamisch via javascript nach.. Habe mich bisher nie wirklich viel parsing von Webseiten beschäftigt und wollte fragen ob mir jemand helfen kann, eine methode zu finden festzustellen wie jetzt wenigstens der interessante content geladen wird, bzw mit was für einem aufruf ich zu diesem komme.

Alternativ wäre auch eine Möglichkeit einen anderen Webservice zu wählen, der mehr für Programmatische Bearbeitung geeignet ist. Ich habe ehrlich gesagt, dass gefühl, dass OpenLogic die OLEX Page bewusst ungeeignet designed hat.
Ich habe auch bereits versucht mit OpenLogic in Kontakt zu treten und einfach mal nachzufragen ob es Teil ihres Geschäftsmodell ist, oder ob man mir helfen kann. Leider kann ich als einzige Antwort bis jetzt Spam verzeichnen.

 

[kama]

Hallo,

Kenner von Maven builds werden nun sagen "das gibt es schon" - da stimme ich euch zu - Es gibt bereits das "license-verifier" plugin von soebes.com, allerdings hat dieses plugin diverse Features nicht die wir brauchen.

Da wäre eine Anfrage bzw. ein Vorschlag für Erweiterungen oder eine Mitarbeit durchaus eine Alternative...weiterhin wäre ein Blick in die Roadmap hilfreich...

Weiterhin gibt es noch: Introduction

Das Hauptfeature welches mein Plugin bietet ist einfache Erweiterbarkeit.

Darüber kann man jetzt streiten was Du mit "einfache Erweiterbarkeit" meinst bzw. darunter verstehst...

So werden beispielsweise anstatt ausschließlich die lizenzen aus den POM files der verschiedenen Projekte zu entnehmen habe werden bei meinem Plugin potenziell mehrere Datenquellen nacheinander zur Rate gezogen um die Lizenzen festzustellen.

Die POM ist die primäre Quelle für solche Informationen (license Tag). Danach kann man ein LICENSE.txt file etc. im JAR selbst abfragen und dann kann man ja noch über eine Plugin Struktur nachdenkden die andere Dienste abfragt (hier wäre eine Idee wie so etwas aussieht durchaus hilfreich)...Die Frage die sich dabei stellt ist die Verläßlichkeit solcher Informationen die außerhalb der POM vorliegen...

...
Daraufhin wollte ich via HTTP request die HTML antworten parsen. Das Problem hierbei: die Seite lädt.. sagen wir mal gelinde.. EXTREM viel dynamisch via javascript nach.. Habe mich bisher nie wirklich viel parsing von Webseiten beschäftigt und wollte fragen ob mir jemand helfen kann, eine methode zu finden festzustellen wie jetzt wenigstens der interessante content geladen wird, bzw mit was für einem aufruf ich zu diesem komme.

Ich würde mir zuerst einmal gedanken machen, ob das rechtlich überhaupt zuläßig ist...

Alternativ wäre auch eine Möglichkeit einen anderen Webservice zu wählen, der mehr für Programmatische Bearbeitung geeignet ist. Ich habe ehrlich gesagt, dass gefühl, dass OpenLogic die OLEX Page bewusst ungeeignet designed hat.

Logischerweise die wollen geld verdienen...

Gruß
Karl Heinz Marbaise

 

[BlackViruZ]

Hallo Karl,

Wie Du vermutlich schon richtig geraten hast haben wir ja bereits einmal miteinander gesprochen ^^

Hallo,

Da wäre eine Anfrage bzw. ein Vorschlag für Erweiterungen oder eine Mitarbeit durchaus eine Alternative...weiterhin wäre ein Blick in die Roadmap hilfreich...

Weiterhin gibt es noch: Introduction

Hierbei kann ich nur wiederholen, dass ich nicht weiß, unter welcher Lizenz meine Arbeit später gehandhabt wird und wieweit es veröffentlicht wird.
Da ich in einer großen Firma arbeite schlagen solche Fragen oft große Wellen und es dauert eine Weile bis das Meer sich wieder beruhigt hat und man zu seiner Antwort kommt.. das ist ein bisschen wie in der griechischen Mythologie.. xD
Daher ist die Mitarbeit an diesem Projekt von meinerseite (zumindest im Arbeitszeitlichen Rahmen) leider nicht möglich.

Darüber kann man jetzt streiten was Du mit "einfache Erweiterbarkeit" meinst bzw. darunter verstehst...

Durchaus, es ist nicht meine Absicht deine Arbeit in irgendeiner Art und Weise zu kritisieren. Das Plugin an welchem Du arbeitest ist gut - keine Frage, aber wir benötigen halt ein paar zusätzliche Funktionen.

Daher wirst Du eventuell verstehen, dass Entscheidungsträger meiner Firma beschlossen haben fehlende Funktionalitäten selbst zu implementieren, statt auf das Fortschreiten eines Projektes zu warten.

Die POM ist die primäre Quelle für solche Informationen (license Tag). Danach kann man ein LICENSE.txt file etc. im JAR selbst abfragen und dann kann man ja noch über eine Plugin Struktur nachdenkden die andere Dienste abfragt (hier wäre eine Idee wie so etwas aussieht durchaus hilfreich)...Die Frage die sich dabei stellt ist die Verläßlichkeit solcher Informationen die außerhalb der POM vorliegen...

Nach dem derzeitigem Stand wird das POM file auch in meinem Projekt als Primäre Informationsquelle zur Rate gezogen. (Das Plugin ist quasi fast "fertig").
Daran die LICENSE.txt Files zur Rate zu ziehen hab ich noch nicht gedacht, gute Idee
Das Thema mit der Verlässlichkeit ist eine Unumgänliche Frage, daher wird bei meinem Ansatz die zur Rate gezogenen Informationsquelle bei der Ausgabe, so dass man deren Verlässlichkeit im zweifelsfalle selbst kontrollieren kann. Auch das ausschließen via Pluginkonfiguration von Informationsquellen ist in Planung.

Die Struktur sieht in meinem Plugin in etwa folgendermassen aus:

• Ich laufe in einem vorgelagertem goal (nicht aggregate) durch den build durch und sammle alle Abhängikeiten in den verschiedenen modulen
• Die Filter werden gemäß der Konfiguration initialisiert und in eine Liste geschrieben
• Die verschiedenen "LiceneResolvers" werden gemäß der Konfiguration initialisiert und in eine Liste geschrieben - erster Resolver in der Liste ist standard mäßig der POM resolver
• Die Resolver verfügen über eine Id, die später zur Rückverfolgung von der Auflösung da ist.
• Nun wird über die Liste mit den Artifacten iteriert, dabei wird zunächst überprüft ob bereits ein Artifact mit der gleichen Id "resolved" wurde.
• Ist dies der fall, werden die ersten beiden Punkte der DependencyTrail als zusätzliches Modul und direkte - nicht transitive abhängigkeit vom Projekt (von dem das Artifact abhängig ist) vermerkt.
• Nachdem sichergestellt ist, dass es sich um ein bis jetzt noch unbekanntes Artifact handelt, wird über die Liste mit den LicenseResolvern solange iteriert, bis es keine weiteren LicenseResolver mehr gibt, oder das Artefact "resolved" wurde.
• Dabei wird vermerkt durch welchen "resolver" das ganze geschehen ist.
  
• Danach wird die neue Datenstruktur in einem Weiteren schritt in verschiedenen Ausgabeformaten gerendert (nach konfiguration) - bis ist nur XML und die Konsolen ausgabe implementiert (Konsolen ausgabe ist immer aktiv).
  
  

Wie gesagt ist nur der grobe plan wie mein Plugin das ganze handelt..

Ich würde mir zuerst einmal gedanken machen, ob das rechtlich überhaupt zuläßig ist...

Logischerweise die wollen geld verdienen...

Ja da habe ich auch schon meine Bedenken gehabt, konnte bis jetzt aber nichts widersprüchliches auf der Webseite finden.
Allerdings ist es wie gesagt auch nur eine der gewünschten Quellen - deswegen habe ich ja auch nach bekannten alternativen quellen gefragt

Freundliche Grüße,
Daniel

 

[kama]

Hallo Daniel,

Hallo Karl,

Karl Heinz ;-)

Wie Du vermutlich schon richtig geraten hast haben wir ja bereits einmal miteinander gesprochen ^^

war schon klar....

Hierbei kann ich nur wiederholen, dass ich nicht weiß, unter welcher Lizenz meine Arbeit später gehandhabt wird und wieweit es veröffentlicht wird.
Da ich in einer großen Firma arbeite schlagen solche Fragen oft große Wellen und es dauert eine Weile bis das Meer sich wieder beruhigt hat und man zu seiner Antwort kommt.. das ist ein bisschen wie in der griechischen Mythologie.. xD
Daher ist die Mitarbeit an diesem Projekt von meinerseite (zumindest im Arbeitszeitlichen Rahmen) leider nicht möglich.

Hm...Ich habe sehr gute Erfahrungen damit gemacht einfach meinen Vorgesetzten zu Fragen und habe bisher immer positive Antworten erhalten....Abgesehen davon ist ja die Frage, ob das Plugin auch unter die Gleiche Lizenz fällt wie das Ergebnis (sprich die Applikation)...

Durchaus, es ist nicht meine Absicht deine Arbeit in irgendeiner Art und Weise zu kritisieren. Das Plugin an welchem Du arbeitest ist gut - keine Frage, aber wir benötigen halt ein paar zusätzliche Funktionen.

Da habe ich mich eventuelle ein wenig unklar ausgedrückt....Ich vermisse halt ein paar konkrete Vorschläge ? Da hätte ich mir etwas gewünscht wie: "Es wäre toll, wenn da an der und der Stelle ein Interface gemacht würde, dann kann man das per DI erweitern" oder so etwas in der Art...

Daher wirst Du eventuell verstehen, dass Entscheidungsträger meiner Firma beschlossen haben fehlende Funktionalitäten selbst zu implementieren, statt auf das Fortschreiten eines Projektes zu warten.

Ich formuliere jetzt mal provokant: Wir wolllen alles umsonst aber nichts dafür bezahlen....kenne ich bei Entscheidungsträgern....

Gruß
Karl Heinz Marbaise

 

[BlackViruZ]

Karl Heinz ;-)

Hallo Karl Heinz - Sorry ^^

Hm...Ich habe sehr gute Erfahrungen damit gemacht einfach meinen Vorgesetzten zu Fragen und habe bisher immer positive Antworten erhalten....

Vorgesetzten habe ich bereits gefragt - er weiß es selbst noch nicht ;-)
Habe demnächst ein Meeting in größerer Runde, eventuell klären sich dann einige Fragen ;-)

Da habe ich mich eventuelle ein wenig unklar ausgedrückt....Ich vermisse halt ein paar konkrete Vorschläge ? Da hätte ich mir etwas gewünscht wie: "Es wäre toll, wenn da an der und der Stelle ein Interface gemacht würde, dann kann man das per DI erweitern" oder so etwas in der Art...

Konkrete Vorschläge, habe ich ja vorhin durch die grobe Arbeitsweise meines Projektes indirekt gemacht ^_^

Ich formuliere jetzt mal provokant: Wir wolllen alles umsonst aber nichts dafür bezahlen....kenne ich bei Entscheidungsträgern....

Das ist wohl weit verbreitet - kann ich aber nix für ^^

Nachdem wir jetzt den Konflikt etwas beleuchtet haben vielleicht doch noch mal zurück zum Thema - fallen vielleicht noch jmd irgendwelche Informationsquellen ein?
Eine Idee von unserer Seite ist noch das anlegen einer eigenen Datenbank/csv file/ ähnliches in dem Artifakte mit bekannten Lizenzen gelistet werden (sprich falls ein Artifakt nicht gefunden wurde wird es manuell nachgeguckt und dort eingetragen, damit es für andere Projekte / zukünftige builds dann bekannt ist).

Bei den LICENSE.txt files ist mir ein Problem eingefallen welches einer Lösung Bedarf - der Inhalt entspricht keinem speziellem format - sprich es gibt mMn 2 varianten - 1. man listet explizit welche LICENSE files bekannt sind und welcher Lizenz sie entsprechen oder 2. man versucht einen Parsing ansatz zu implementieren anhand oft verwendeter Lizenz-formate (was natürlich dann eine recht wage angelegenheit ist.. ^^)
Fällt jmd dazu eine bessere Idee ein?

--

Ich habe die Terms of Use von olex nochmal genauer angesehen, da ist eine recht wage formulierte Klausel mit Interlectual Property - das wird dann wohl auch den Entscheidungsträgern reichen diese informationsquelle aufzugeben ^^

MfG Daniel

 

[BlackViruZ]

Im vorraus: Sorry, dass ich mein Thema hiermit pushe, ich mag Doppelposts auch nicht, aber mein letzter Beitrag hier ist ja schon etwas angestaubt.

Ich habe noch (vorallem in Ausrichtung auf Zukünftige Spezifikationen) von anderer Stelle den tipp für spdx bekommen.
Hat schonmal jmd zufällig damit gearbeitet? Gibt es schon eine Plattform auf der SPDX am besten im RDF format getauscht werden?

MfG und danke
Daniel