Die zweitschönste Nebensache der Welt

Die Empfehlung, alle Design Studio Workspaces von DWE 9.1 nach 9.1.1 zu migrieren macht schon Sinn. Auch wenn ich bisher fast ohne Probleme 9.1 Workspaces öffnen konnte, häufen sich nun Meldungen über Inkompatibiliäten.

Tatsächlich habe ich bisher in den mit 9.1 erstellten Projekten keine Änderungen vorgenommen, die ich hätte speichern wollen oder müssen. Ich bin also bisher gut ohne Speichern oder auch das angemahnte Migrieren von Projekten ausgekommen.

Es war schon irritierend, das im Datenbank-Explorer immer noch Verbindungen mit Datenbanken der DB2-Version 8.2 gelistet wurden, obwohl ich diese längst nach DB2 9.1 migriert hatte. Aber diese Kleinigkeit lässt sich durch ein wenig Handarbeit bereinigen.

Die Meldungen "Fehler beim Speichern" allerdings, die bei Änderungen an Mining-Flows erscheinen, sind nun der mehr oder weniger freundliche Hinweise, sich der letzten verbliebenen Nach-Installationsaufgabe zu widmen:

"Migrating Design Studio workspace projects from DWE 9.1 to DWE 9.1.1"

Einfach unter "Datei" "Arbeitsbereich wechseln ..." auswählen und in der folgenden Eingabeaufforderung das Stammverzeichnis für den neu anzulegenden Workspace eintragen. Danach wird das Design Studio mit dem neuen Arbeitsbereich gestartet.

Der "mittelpunktbasierte" Clusteralgorithmus mit einer Kohonen-Karte lässt sich durch verschiedene Parameter beeinflussen. In den Mining-Einstellungen des Clusterer-Operators wird nach Auswahl von "Kohonen" als Algorithmus "Anzahl Durchgänge" angeboten. Die maximale Anzahl Cluster ist als Vorgabe für beide Segementierungsverfahren vorgesehen.

Bleiben noch die beiden Größen für die Bestimmung des "Zuordnungslayout": LayoutNumRows und LayoutNumColumns. Hierfür bietet der Clusterer-Operator keine eigenen Eingabefelder an. Es bleibt also nur die Spezifikation der Layoutwerte mittels "Optionale Parameter".

Und das ist nicht trivial, da sollte man schon mal die Online-Hilfe zu Rate ziehen. Die rät einem mehr oder weniger verklausoliert zu

DM_setAlgorithm('Kohonen','<LayoutNumRows>4</LayoutNumRows><LayoutNumColumns>5</LayoutNumColumns>').

Zumindest habe ich keine bessere Variante gefunden.

Nach nun mehr als 30 Jahren ergab sich die Gelegenheit, mich wieder intensiver mit den Grundlagen der Mathematik zu beschäftigen. Der Mathe-Kurs für Informatiker im ersten Semester erinnert natürlich sehr an des 1.Semester eines Mathematikers: Mengenlehre, ein wenig Algebra, schon mehr Lineare Algebra und natürlich die Anfänge der Analysis.

Für mich ist das mehr als nur eine Wiederholung. Lineare Algebra macht mir heute wesentlich mehr Spaß als zu Beginn meines Studiums. Das gleiche gilt für die Algebra. Meine Zuneigung zu ihr habe ich ja erst im Hauptstudium entdeckt. Dazu war der richtige "Lehrer" nötig.

Heute ist es für mich wesentlich einfacher, mathematische Probleme zu lösen. Das liegt nicht nur daran, dass ich eine komplette Mathe-Ausbildung genossen habe. Ich habe auch noch APL zur Unterstütztung. Die öde Rechnerei zu Fuß ist passe. So ist das Produkt von Matrizen mit der Eingabe von nur fünf Zeichen zu berechnen, die Inverse benötigt gar nur zwei. Und das ohne jegliche eigene Programmierung.

Ebenso wenig stellt die Berechnung von Eigenwerten und -vektoren eine zeitraubende Aufgabe dar. APL hilft dem Mathematiker sich mit den wesentlichen Dingen zu beschäftigen.

Neural Networks are back!

"Kohonen Clustering: The Clusterer operator now provides the neural Kohonen Clustering algorithm."

Dies ist ja eigentlich kein neuer Algorithmus: Das Clustern mit der Kohonen Karte kannte schon der gute, alte Intelligent Miner for Data. Ich habe dieses Verfahren oft als Alternative zur demographischen Segmentierung benutzt, die jeweils gebildeten Gruppen verglichen und mich dann doch meistens für das Ergebnis des demographischen Algorithmus entschieden.

Aber eben nur meistens. Es kann nicht falsch sein, zu einer Mining-Aufgabe verschiedene Verfahren zur Verfügung zu haben. So kann man sich einen besseren Überblick über das Problemfeld verschaffen.

Ich habe als Alternative zu einer Baumklassifikation, die die vor einigen Wochen erstellt hatte, testweise eine Naive Bayes-Klassifikation durchgeführt. In diesem Falle war ich mit dem neuen Ergebnis nicht sonderlich zufrieden, obwohl der Visualizer durchweg bessere Qualitätswerte ausweist. Denn die im Feldbedeutungsdiagramm angegebenen Einflüsse der Variablen waren und sind im Falle der Baumklassifikation realistischer.

Und nun zum Höhepunkt des DWE Refresh - zumindest aus meiner Sicht: die neuen "Data mining features". Ich meine damit nicht, dass die anderen Neuerungen marginal sind. Im Gegenteil, schon alleine die bisher beschriebenen Erweiterungen sind mehr als ich von einem "Refresh" erwarte. Von einem hunderstel Upgrade kann man höchstens etwas mehr als nur Fehlerkorrekturen erwarten.

Neue Mining-Algorithmen berechtigen eigentlich zu mehr als nur einem Hunderstel, z.B. zu 9.2 oder 9.5 oder gar zu 10.0. Dieses Refresh bring für mich mehr als eine komplette neue Windows-Version. Vista bringt die Menschheit nicht voran, wenn man mal von Intel oder AMD absieht. Lieber ein neuer Mining-Algorithmus als Tausend angeblicher Verbesserungen am GUI. MS ist doch inzwischen mehr damit beschäftigt, selbst aufgerissene Löcher zu stopfen als wirkliche Innovationen zu auszuliefern.

Aber das ist ein weites Feld. Ich komme lieber zurück zu den wichtigen und interessanten Dingen im IT-Leben, hier zu der Naive Bayes Klassifikation in der Data Warehouse Edition:

"Naive Bayes classification: The classification of information that is gathered from non-structured documents is a key element of structured and unstructured mining analysis. This algorithm provides this functionality with best acceptance throughout the industry. Naive Bayes classification is supported in the predictor operator."

Das ist eine Bereicherung für die Vorhersage kategorialer Variablen. Hier gab es bisher nur die Baum-Klassifikation, während zur Vorhersage kontinuierlicher Attribute sich gleich drei Verfahren anbieten. Es ist immer gut, eine Alternative zu haben. Trotz "naiver" Unabhängigkeitsannahmen liefert Naive Bayes häufig gute Ergebnisse.

Das ist aber noch nicht alles:

Handelt es sich bei den Microsoft Agents tatsächlich um eine ausgereifte Technologie?

Es soll wohl eine "Technologie" sein, aber auch nicht mehr:

"This is because Microsoft Agent, by itself, is really just a software technology rather than a complete, integral software application that automatically does something."

Es ist scheinbar eine "ausgereifte" Technologie, da sich seit 2003 hier offensichtlich nichts mehr getan hat.

Der Link " Microsoft Agent in the MSDN Library" auf "Microsoft Agent Home" führt inzwischen sogar ins Leere. Handelt es sich möglicherweise um eine vergessene Technologie?

Vielleicht hat Mickeysoft seine Agenten vergessen, das Web vergisst nichts so schnell. Die MS Agents haben sogar einen Eintrag bei Wikipedia. Diese Seite ist erheblich aktueller als das Agentenheim.

Ebenso up-to-date ist der "Microsoft Agent Ring". Für Leute, die sich mit Mickeysofts vier "characters" nicht zufrieden geben können, gibt es hier viel Material zum Downloaden.

Es war im Frühjahr 2005, vor etwas weniger als zwei Jahren. David arbeitete an der COM-Schnittstelle für APL2 und ich durfte sie hier und da testen. Parallel arbeitete ich an einem Vortrag für die kommende Tagung der GSE APL2-Arbeitsgruppe. Irgendwie schien es nahe liegend, in den Vortrag helfend die MS Agents einzubeziehen.

Die Idee war nicht neu: Im Mai 1999 hatte ich mir von Merlin und Konsorten einige Erklärungen zu dem damals neuen APL2-Runtime Feature (das es inzwischen so auch nicht mehr gibt) abnehmen lassen. Zur Programmierung der Agents bot sich damals VBA unter Powerpoint an, obwohl ich auch APL+Win hätte nehmen können - APL2 dagegen nicht.

Ich versuchte vor zwei Jahren also, die Szenarien, die ich 1999 in VBA entwickelt hatte, mit APL2 und der neuen COM-Funktion nachzubauen. Das klappte erwartungsgemäß auch ohne prinzipielle Probleme. Nur zwei Dinge konnte ich nicht wie gewünscht umsetzten:

"Bookmarks" waren nicht umsetzbar, "Housekeeping" erst nach Ende einer Szene nur händisch oder durch Setzen von ⎕DL. Der Grund für beides war die damals fehlende Unterstützung für COM-Events.

Und die gibt es inzwischen - seit Service Level 7 - und damit konnte ich mir nun beide Wünsche erfüllen.

Wieder mal muss ich erkennen, dass ich die MS Agents nicht ernst genommen habe. Aber wenn ich sie auch nur alle zwei Jahre benutze ...

Diesen Rechner habe ich vor ca. 1 Jahr konfiguriert und die notwendigste Software installiert. Bei dieser Tätigkeit sortieren sich Anwendungen, die ich nicht mehr oder nur wenig nutze von selbst aus. Die MS Agents sind stets darunter, um dann ein Jahr später festzustellen, dass ich sie doch zu Demozwecken brauche.

Ich habe ja noch zum Glück die ursprünglichen Installationsdateien. Und das sind auch weiterhin aktuell: Denn die unter "Microsoft Agent home" geführten Web-Seiten wurden irgendwann im April/Mai 2003 letztmalig geändert. Das war also noch vor meiner vorherigen Installation, an den runterladbaren Dateien hat sich seitdem auch nichts geändert. Die Technologie scheint "ausgereift".

Ich kann also meine alten Quellen hernehmen und wie gehabt installieren. Nur wie war das? Für den Fall, dass diese Frage in zwei Jahren wieder auftaucht, werde ich die Installation hier protokollieren:

Der DWE Data Miner war schon zu Zeiten des Intelligent Miners for Data ein Weltklasse Mining-Werkzeug. Allerdings gab es seit der Version 6.x des IM im Bezug auf Analyse-Funktionalität keine Neuigkeiten mehr. Statt dessen wurden die Mining-Methoden in DB2 als Intelligent Miner for Modelling und Scoring integriert.

In dieser Zeit - und die begann spätesten im Jahre 2000 - behaupteten andere Hersteller von Data-Mining-Software, dass IBM die Entwicklung eines eigenen Werkzeuges ausgegeben habe. Ich erinnere mich, dass in diesem Zusammenhang häufig SAS genannt wurde. Ich war zu der Zeit und bin auch noch der Ansicht, dass IBM dem hätte offensiver entgegentreten müssen. Denn die, wie sich herausstellen wird, haltlosen Behauptungen mancher Wettbewerber wie SAS, SPSS, Oracle und neuerdings Microsoft grenzten schon an wettbewerbsschädigendem Verhalten.

Doch die DWE 9.1 und vor allem das Refresh sprechen eine deutliche Sprache. Die Integration von Mining-Technologie in das Data Warehouse-Umfeld ist aus meiner Sicht mehr als gelungen. Ich vermisse den Intelligent Miner for Data fast überhaupt nicht mehr. Die Abbildung des gesamten Data Mining-Prozesses, angefangen bei der Datenakquisition bis hin zur Darstellung der Ergebnisse, ist im Design Studio wesentlich einfacher und transparenter zu gestalten, als es vor der Version 9.1 der Fall war.

Mit DWE Version 9.1 habe selbst ich eingesehen: Die Mining Work Bench a la Intelligent Miner for Data ist tot, es lebe die Integration von mathematischer Intelligenz ins Data Warehousing.

Der Refresh bringt nun drei neue Mining-Algorithmen. Das gab es schon seit langem nicht mehr, dass die Kernfunktionalität des Miners erweitert wurde. Dazu kommen noch mit den Miningblox eine Neuerung, die die Darstellung von Mining-Ergebnissen ins Reporting-Umfeld integriert.

Das ist doch nicht normal für einen Refresh.

Bevor ich zu den mit Spannung erwarteten neuen "Data mining features" komme, werden hier noch die letzten Neuerungen im "SQL Warehousing Tool" zitiert. Es handelt sich hierbei um acht neue Operatoren für Steuerungsflüsse.

"Stored procedure: This operator runs a specified DB2 stored procedure."

Klingt sinnvoll, das haben sicher einige 9.1-Anwender vermisst.

"Variable comparison: This operator performs compares an input variable with another value to determine conditional processing behavior in the flow."

Das erscheint geradezu selbstverständlich, wenn man schon in den Operatoren eines Steuerungsflusses mit Variablen arbeiten kann.

"Break, continue, and fail: These operators emulate Java programming semantics to perform conditional processing."

Das haben sich wohl viele DWE-Entwickler gewünscht.

"Reorg and runstats: These operators run the DB2 REORG and RUNSTATS commands on specified tables and indexes."

Was kann man neuerdings mit einem Reorg anstellen? Tabellen zeilenkomprimieren!

"Period row generator: This operator generates rows that contain specified datetime columns and appends them to a time dimension table"

Mal sehen, was man damit so alles anstellen kann.

Auf das Kapitel "What's new in DWE 9.1.1" folgt die Überschrift "Migrating Design Studio workspace projects from DWE 9.1 to DWE 9.1.1". Das klingt nach mehr "Post-Installation"-Arbeit.

Nun war ich allzu neugierig herauszufinden, was seit der Version 9.1 so alles hinzugekommen ist. Dazu habe ich natürlich im Design Studio das eine oder andere Projekt geöffnet. Das war wohl etwas voreilig. Denn gleich im ersten Satz unter besagtem Titel heißt es:

"Do not try to open a Version 9.1 workspace directly in Version 9.1.1 of the Design Studio."

Warum nicht? Was passiert, wenn doch? Ich wüsste doch gerne, welche Veränderungen die Ursache für diese Warnung sind.

Und es kommt noch schlimmer:

1. Export all of the projects from the Version 9.1 workspace, including referenced projects, before installing Version 9.1.1 of the Design Studio.

Tatsächlich habe ich meine Version 9.1 komplett nach 9.1.1 migriert ohne auch nur einen Worspace vorher zu exportieren.

Danach habe ich auch noch mindestens zwei Projekte geöffnet. In einem wurde anstatt des Diagramms zu einem Datenfluss das dazugehörige xml-Dokument auf der Arbeitsfläche angezeigt. Die Ursache hierfür hatte ich allerdings nicht auf die Migration zurückgeführt.

Hier die letzten beiden Punkte aus der Liste der "Data flow enhancements":

"Sampling data: For operators that provide table properties, you can view sample data directly from the data flow editor."

Auch dieses Feature ist dem Mining-Fluss-Editor entlehnt, und das zu recht. In einem Mining-Fluss findet man es in Kontext-Menü eines geeigneten Operators unter "Daten" und "Beispielinhalt ...". Im Datenfluss-Editor heißt der Eintrag "Stichprobe des Datenbanktabelleninhalts entnehmen".

"Background flow execution in the Design Studio: You can run data flows and control flows in the background, and you can cancel control flows between operators. The new Execute Status view displays execution results."

Dies ist neu für Datenflüsse, für Mining-Flüsse konnte und musste ich diese Option bereits nutzen, da Mining manchmal etwas länger braucht.

Bei letzten drei Erweiterungen für Datenflüsse wurden Funktionalitäten aus den Mining Flows übernommen. Das sollte aber nicht das Ende sein: Ich vermisse auf jeden Fall noch "Bis zu diesem Schritt ausführen ...".

Dies ist die Nummer 7 in der Liste der "Data flow enhancements":

"Creating suitable tables: Like the mining flow editor, the data flow editor now allows you to automatically create a suitable table for the data that is passing through operator output ports."

Das ist eine der Besonderheiten, die das Arbeiten mit Mining-Fluss-Editor so bequem machen. Nach rechtem Mausklick auf den Ausgabeport eines geeigneten Operators und Auswahl von "Geeignete Tabelle erstellen ..." erscheint der bekannte hilfreiche Assistent.

Auch wenn das Vorgehen für beide Flüsse auf den ersten Blick gleich aussieht, gibt es doch kleine, aber feine Unterschiede. Das geht gleich auf der ersten Seite des Dialogs los:

Aus einem Mining-Fluss aufgerufen findet man dort die Check-Box "Tabellenzieloperator automatisch erstellen und verbinden", in einem Datenfluss erscheint dort "Wählen Sie diese Option, um die Tabelle im Datenmodell und in der Ausführungsdatenbank zu erstellen. Nehmen Sie".

Ich wüsste gerne, was ich nehmen soll oder kann. Da hilft sicher ein Blick in die englische Version, die Online-Hilfe tut's nicht.

Und noch mehr "Data flow enhancements":

"Saving flows as images: You can save flow diagrams (data flows, control flows, and so on) as image files."

Einfach rechter Mausklick auf dem Panel (dem "Erstellungsbereich" des Daten- oder Steuerungsflusses), "Datei" und "Als Imagedatei speichern ..." auswählen, ausfüllen und los.

Ein hilfreiches Feature für Dokumentationswütige und Leute, die ihre Elaborate gerne publizieren. Im Ernst: wenn es diese Möglichkeit ab jetzt nicht geben würde, hätte ich sie sicher demnächst schmerzlich vermisst.

"Expanded variable support: In data flows and control flows, several new properties can be set as variables, and the SQL Expression Builder includes a Variables section."

In den Eigenschaften eines Datenflusses gilt dies für die zwei (evtl.) neuen Felder für "Tabellenbereiche" sowie für Felder einiger Operatoren. Im Steuerungfluss trifft das wohl auf den einen oder anderen Operator zu. Zu einer sicheren Aussage über solche Erweiterungen fehlt mir der Vergleich mit der Version 9.1. Die habe ich ja hier mit dem Refresh überbügelt.

Offensichtlich ist der erweiterte "variable support" im SQL Expression Builder. Dieser kommt als "SQL Code Builder", "SQL Condition Builder" oder anders überall dort zum Einsatz, wo SQL-Ausdrücke erstellt werden sollen. Hier gibt es jetzt auf der rechten Seite eine neue Box unter der Überschrift "Variablen".

Dies sind drei weitere Neuerungen aus dem Bereich "Data flow enhancements":

"Table source filtering: You can apply a WHERE clause condition to the data that is read in from a source table."

Einfach praktisch, das erspart einen gesonderten Operator auf der Arbeitsfläche. Im Tabellenquelle-Operator gibt es dazu in der Markmalsicht die neue Seite "Bedingung WHERE".

"Commit intervals: For SQL Insert operations, you can specify a commit interval in the table target operator."

Dahinter verbirgt sich das neue Eingabefeld "Commitintervall" auf der "allgemeinen" Eigenschaftenseite des Tabellenziel-Operators. Hier kann die Anzahl eingefügter Zeilen spezifiziert werden, nach denen ein Commit ausgeführt wird.

Da musste aber einiges an der Code-Generierung für das Insert geändert werden.

"Exploitation of the DB2 Database Partitioning Feature (DPF): To improve the performance of data flows and certain data flow operators (such as distinct and splitter operators), the SQL Warehousing Tool generates partition-aware code based on properties specified in the data flow."

Ich denke, dazu ist die Check-Box "DB2-Datenbankpartitionierungsfunktion (DPF) verwenden" vorgesehen.

Das gleiche gilt für die Merkmalsicht-Seite "Einstellungen für die Zwischenspeichertabelle" der Operatoren "Eindeutig" (Distinct), "Verteilerprozess" (Splitter) und "Schlüsselsuche" sowie die Seite "Partitionierungsoptionen" der Operators "Massenladeziel" und "Dateiimport" (wobei sich mir nicht erschließt, was genau unter dem Feldnamen "Partitionierungspartitionen" zu verstehen ist).