Abrechnung mit der Wissenschaftsgemeinde!
Tags: paper, Promotion, service, soa
Kategorie Promotion | 2 Kommentare »
In den letzten Wochen sind zwei von mir eingereichte Paper abgelehnt worden. Eine Analyse der Gründe für die Ablehnung zeigt, dass die Industrie als Geldgeber für Forschung gern gesehen ist, aber sonst industrielle Forschungsbeiträge in Journals und auf Konferenzen nicht gewünscht sind. Hoffnung macht aber, dass sich die Wissenschaftsgemeinde da nicht so ganz einig ist…
In einem der beiden Paper habe ich zusammen mit meinen Kollegen unseren Ansatz zum Service Discovery beschrieben. Damit wollen wir das Problem lösen, den richtigen Service zur Automatisierung einer Geschäftsfunktion zu finden. Wenn man einen Geschäftsprozess modelliert und diesen dann später in ein ausführbares Modell (z.B. BPEL) überführen will, muss man vorher für jede Funktion im Geschäftsprozess einen Service angeben, der diese Funktion automatisiert. In typischen Beispieldatenbanken ist das meist kein Problem: man hat lediglich einen passenden Service für jede Funktion. In der Realität ist es aber ein ziemlich großes Problem, da plötzlich ein Anwender ohne IT Wissen ein IT Artefakt (Service) auswählen soll.
Damit diese Auswahl kein Glücksspiel wird, haben wir ein Tool in den ARIS SOA Architect eingebaut, das bei der Auswahl unterstützt. Dabei kommen 2 verschiedene Vergleichsalgorithmen zum Einsatz. Wir machen ein so genanntes Structural Matching, also einen Vergleich auf Basis von vom Service verarbeiteten Nachrichtentypen. Daneben machen wir noch ein sehr einfaches Semantic Matching.
Diesen Ansatz, die Algorithmen, die zugehörige Benutzeroberfläche und die methodische Einbettung haben wir in einem wissenschaftlichen Paper zusammengefasst. Das Paper wurde von 3 Reviewern beurteilt und hat dabei 3 sehr unterschiedliche Urteile bekommen. Reviewer 1 war vollständig gegen das Paper und sagt, dass es dies alles schon gibt, nichts Neues dabei ist, etc. Reviewer 2 sah einige Mängel in der Darstellung des Ansatzes, hatte aber keine prinzipiellen Einwände. Reviewer 3 war völlig euphorisch und lobte das Paper als einen längst überfälligen Realitätscheck für die Wissenschaftsgemeinde. Aufgrund der sehr schlechten Beurteilung durch Reviewer 1, er gab in allen Bewertungskategorien jeweils die schlechteste Punktzahl (auch für sprachliche Darstellung), wurde das Paper abgelehnt.
Natürlich hat Reviewer 1 in so fern Recht, dass unsere Algorithmen nicht neu sind. Dies behaupten wir auch nicht mal, sondern verweisen auf entsprechende Vorarbeiten. Und natürlich gibt es wesentlich komplexere Algorithmen und umfassendere Verfahren. Das Problem mit all diesen Ansätzen ist aber, dass sie in der Realität (also außerhalb von universitären Forschungsgruppen) nicht anwendbar und nicht vermittelbar sind. Damit ein Nutzer ein Werkzeug zur Suche von Services verwendet, muss er die Chance haben, zumindest den prinzipiellen Mechanismus dahinter zu verstehen. Auch muss man eine Abwägung zwischen Modellierungsaufwand vor der Suche und der Mächtigkeit der Suche machen. So kann man mit einer auf Ontologien basierenden Suche wesentlich umfangreicher Suchen. Allerdings ist der Aufwand für die Erstellung und Pflege solch einer Ontologie ebenfalls wesentlich umfangreicher und lohnt sich in vielen Fällen nicht für den Anwender. Wie gesagt, dieser möchte seine Services so beschreiben, dass er sie später wieder findet. An einer 100%ig vollständigen Beschreibung mit wissenschaftlichen Anspruch ist er nicht interessiert. Wer selber schon mal industrienahe Forschung gemacht hat wird wissen, dass einfachere Lösung oftmals mehr wert sind. Diese Erkenntnis ist aber scheinbar nicht allgemein bekannt und wir werden deshalb weiterhin eine unendliche Anzahl spannender aber unrealistischer Paper sehen.
In dem zweiten Paper, was abgelehnt wurde, wurde noch genereller in Frage gestellt, ob eine Firma denn überhaupt Forschung betreiben kann. Wir haben bei diesem Vorhaben ein umfangreiches Metamodell zur Modellierung von Services vorgestellt. Das Metamodell haben wir uns nicht einfach so ausgedacht, sondern sowohl aus existierenden Ansätzen (also anderen Modellen) hergeleitet und mit der Erfahrung unserer Berater und Methodenexperten abgeglichen. Als Antwort auf diesen Forschungsansatz bekommen wir zu hören, dass wir es anhand von konkreten Projekten hätten ausprobieren sollen. Sehr schön, würde ich auch gern machen, nur bevor man sowas evaluieren kann, muss man zunächst das Metamodell haben. Die Evaluierung ist erst der zweite Schritt. Der Verweis auf die involvierten Personen wird dann von einem Reviewer sogar als Prahlerei und nicht zielführend gewertet.
Die Sache sehe anders aus, wenn das Metamodell von einem öffentlichen Forschungsprojekt oder zumindest einer universitären Arbeitsgruppe erarbeitet worden wäre. In Papers aus solchen Quellen liest man dann häufig nur noch den Verweis, dass das vorgestellte Ergebnis im Projekt XYZ erarbeitet wurde. Eine Diskussion über Forschungsansatz und Forschungsmethode findet häufig gar nicht statt, die Ergebnisse werden als valide per se angenommen.
Diese beiden Ablehnungen zeigen ein großes Dilemma: Setzt man vorhandene Forschungsergebnisse in der Praxis um (siehe Paper über Service Discovery), dann ist man angreifbar, weil man lediglich eine Umsetzung macht und keine neuen Erkenntisse liefert. Dass die Umsetzung selbst eine Erkenntnis ist, wird dabei ignoriert. Auf der anderen Seite haben wir einen vollständig neuen und integrierenden Ansatz in Form eines Metamodells formuliert und mir ist bis zum heutigen Tag keine alternative Arbeit bekannt, die so umfassend und dabei noch anwendbar ist. Diese Arbeit wird wiederum nicht akzeptiert, da es doch nicht sein kann, dass eine Firma Sachen entwickelt, an denen sich Universitäten, Forschungsprojekte und Standardisierungsgremien seit Jahren die Zähne ausbeißen!
Es ist also zum Verzweifeln, wie man’s macht, macht man’s verkehrt!
Hinweis: Wer jetzt meint, dieser Eintrag wäre polemisch, der liegt richtig! Der Eintrag ist genauso unsachlich, wie einige der Reviews, die ich erhalten habe.
Lieber Admin,
Ich promoviere selbst in der Industrie und kann Deine Meinung bestätigen und Deine Argumentation unterstreichen. Glücklichweise konnte ich (u.a. gemeinsam mit Forschern an der Universität) neun Veröffentlichungen platzieren. Zugegeben, nicht alle Konferenzen waren wissenschaftlich wie bspw. die JBoss World und die Process World. Wir konnten aber Akzente bei der OOPSLA (2mal) und auf der Protege-Konferenz in Budapest setzen und nun bin selbst offizieller Reviewer bei IEEE ;-)
Du hast erwähnt, dass es starke Unterschiede bei der Bewertung Deiner Veröffentlichung gab. Die Anzahl der praxisnahen Wissenschaftler sollte (und wird) in Zukunft zunehmen. Praxisnahe und pragmatische Ansätze in Kombination mit Grundlagenforschung sind notwendig um die Menschheit einen echten Schritt nach vorne zu bewegen.
Nehmen wir ein Beispiel aus der Theoretischen Informatik: Formale Sprachen. In diesem Bereich der IT werden Automaten (die man teilweise gar nicht bauen kann), Komplexitätsklassen und Determinismus diskutiert, die ihre Anwendung im Compilerbau finden. Nun, wir bauen keine Compiler… aber in Zeiten des Semantik Webs erlebt die Theoretische Informatik durch die erneute Diskussion über Komplexitätsklassen und Determinismus in OWL (Light, Full, DL) einen „Relaunch“. Selbst die Künstliche Intelligenz (KI) wird durch die Anwendung einer Wissensbasis in Form einer Ontologie (der Agent ist optional) und das Schließen einer Inferenz-Maschine „zum Leben erweckt“.
Mein Fazit: Grundlagenforschung ohne praxisnahe Anwendung ist ein netter Zeitvertreib, Grundlagenforschung in Kombination mit der praxisnahen Forschung ein echter Fortschritt.
„In dem zweiten Paper, was abgelehnt wurde, wurde noch genereller in Frage gestellt, ob eine Firma denn überhaupt Forschung betreiben kann.“
[…]
„Die Sache sehe anders aus, wenn das Metamodell von einem öffentlichen Forschungsprojekt oder zumindest einer universitären Arbeitsgruppe erarbeitet worden wäre.“
Die logische Reaktion in einer Welt in der der Staat vergöttert und private Initiative (am Ende auch noch profitorientiert – bäh) verteufelt wird.
Ich glaube auch nicht, dass sich das ändern wird, denn selbst die private Forschung wird immer mehr und mehr durch staatliche Subventionen gefördert und gesteuert.
So gesehen wird es dann für den Forscher allerdings auch keinen Unterschied mehr machen, bei welcher Institution er forscht, da dann sowieso alles öffentlich ist. Planwirtschaft halt.
Das dabei jedoch noch sehr viel praktisches oder für die Menschen gar nützliches bei raus kommt, bezweifele ich.
Das ist jetzt keine Kritik an dir oder deinem Thema. Ich nutze die Plattform nur, um mich über die allgemeine Entwicklung auszulassen :-)