Algorithmen der Warenkorb- und Sequenzanalyse extrahieren aus Transaktionen statistisch signifikante Itemsets (Warenkörbe) bzw. Sequenzen, um hieraus wiederum Regeln zu extrahieren. Die zentrale Herausforderung liegt hier in der Größe der Datenmengen, denn die Transaktionsdaten können extrem groß sein und Hunderte Millionen Datensätze umfassen. Weitere Herausforderungen betreffen inhaltliche Aspekte: Welche Regeln sind statistisch signifikant? Wie lassen sich für alle Items Regeln finden? Wie wirken die Regeln in Ketten? Über viele Jahre hinweg wurde von der prudsys AG ein extrem leistungsfähiges Paket von Warenkorb- und Sequenzanalyse-Algorithmen geschaffen, welches nicht nur einmalig bzgl. der Geschwindigkeit sowie der Größe der zu verarbeitenden Transaktionsdaten ist, sondern auch zahlreiche Anwendungsfälle abdeckt: Warenkorbanalyse, Sequenzanalyse, Linkanalyse, sequentielle Warenkorbanalyse, Einbeziehung von Taxonomien, Kombination mit Algorithmen des Reinforcement Learning zur Kettenoptimierung, automatisiertes Parametertuning, etc.
Vorteile
Extreme Geschwindigkeit, die eine Analyse von Millionen von Transaktionen innerhalb weniger Sekunden ermöglicht
Verarbeitung nahezu unbegrenzter Datenmengen: Alle Algorithmen sind als Dekompositionsverfahren verfügbar, welche die Daten in Blöcken einlesen und verarbeiten, so dass die Transaktionsdaten nicht komplett im Speicher gehalten werden müssen.
Automatisierung der Parameterwahl: Bei Vorgabe von Zielgrößen wie zum Beispiel minimaler Regelzahl, werden automatisch Algorithmenparameter wie minimaler Support oder Konfidenz variiert bis der Algorithmus die Zielvorgabe erfüllt.
Sequenzanalyseverfahren können über nachgeschaltete RL-Verfahren derart optimiert werden, dass die Regeln bzgl. ihrer sequentiellen Anwendung in Markov-Ketten optimiert werden.
Ein besonderes Highlight bilden die Algorithmen der Sequenzanalyse. Die meisten aktuellen Implementierungen von Sequenzanalyseverfahren sind weit langsamer als die der algorithmisch weniger komplexen Warenkorbanalyse. Um dieses Problem zu lösen, wurde der wichtigste Ansatz der Warenkorbanalyse - der rekursive Zusammenbau längerer Large Itemsets aus kürzeren - auf den Fall der Sequenzanalyse erfolgreich übertragen. Im Ergebnis entstand eine Familie patentierter Sequenzanalyseverfahren, welche in ihrer Geschwindigkeit der Warenkorbanalyse kaum nachstehen und weltweit einmalig sind.
Integration
Die Warenkorb- und Sequenzanalyse-Algorithmen stellen umfassende Pakete der XELOPES-Bibliothek dar und sind auch in der prudsys RDE implementiert. Wie alle Modelle der XELOPES-Bibliothek können sie in PMML serialisiert werden, was die leichte Speicherung und den standardisierten Austausch der Modelle ermöglicht.
