skilja deep dive.pdf
Deep Dive
Mai 2025
Alexander Goerke, Skilja GmbH
SKILJA ROADMAP
Vinna 4.0: Cloud-Enabled
| Component | |
|---|---|
| www | Frontend(website hosting) |
| Backend/Web Service | |
| Processing of Activities | |
| Docker Infrastructure | |
| Visualization of Metrics | |
| Metrics Storage/Processing | |
| Collects Metrics |
![Image15]
![Image29]
![Image26]
![Image27]
![Image28]
Deep Dive Skilja
Wie Generative AI und LLM in der Dokumententerkennung angekommen sind
Dr. Alexander Goerke & Christian Robelski
Large Language Models
Was ist ein Large Language Model?
▪ LLMs sind KI-Modelle, die durch Training auf einer großen Menge von Textdaten erstellt werden
▪ Wie funktioniert das eigentlich?
Sie erfassen die allgemeine Struktur und logische Semantik der Sprache
Modelle gibt es für verschiedene Sprachen, in verschiedenen Größen und mit unterschiedlicher Komplexität
Unterscheidung zwischen „Encoding“ und „Decoding“ LLM
| Wir gehen heute | ins Kino |
|---|---|
| Wir gehen heute Abend ins | |
| gehen heute | ins Kino |
| Wir gehen | Abend Kino |
| Wir gehen heute Abend ins Kino |
![Image15]
Transformers
▪ Ursprüngliches Transformer Modell von 2017:
▪ GPT (Generative Pretrained Transformer) sind reine Decoder-Modelle, die auf großen, unüberwachten Textdaten vortrainiert und für bestimmte Aufgaben wie Textklassifikation, Stimmungsanalyse, Fragebeantwortung und Zusammenfassung optimiert wurden.
![Image56]
Umsetzung bei Skilja: LaBERTa Server
Skalierung durch Trennung von Komponenten mit besonderem Hardware-Bedarf (GPU)
Datenbank-Gestützt
– Lastverteilung
– Authentifizierung
Queues zur Verarbeitung von Anfragen
– Unterstützt Polling um Timeouts zu vermeiden
Queue Management um die Zahl der gleichzeitigen Anfragen zu kontrollieren
Zentrales Logging
Zentrale Kontrolle über eingesetzte Modelle
– Status (Disabled, Enabled, Default)
– Modell- und Kontextgröße
– GPU layers
![Image15]
Umsetzung bei Skilja: LaBERTa Server
Zentrale Verwaltung von Modellen
– Skilja Modelle
– Öffentliche Modelle
– Kundenspezifische Modelle
Sofortige transparente Integration über API in Skilja Designer und Runtime
Locator Konzept!
AI Extraktion - Wie und Wo?
| AI Extraction Lokator | Prompt-basierte AI Extraktion | GGUF |
|---|---|---|
| Paragraph Lokator | LLM-Modus ist ressourcenintensiver, aber versteht implizierte Bedeutungen eher | LaBERTa |
| Summary Lokator | Zusammenfassung via Prompt | GGUF |
| Table Lokator | Trainiert Inhalt, Format und Position der Zellen | LaBERTa |
| Trainable Field Lokator | Trainiert Entitäten und Rollen (Gutachter, Geschädigter, Verursacher) | LaBERTa |
| AI Extraction Aktivität | Zusammenfassung und Prompt-basierte AI Extraktion ohne IE Projekt | GGUF |
![Image15]
LaBERTa Small Training
Version 1.0 – April 2024
![Image77]
5 weeks total time
2 weeks training time
Step 2 – 5.5 days
![Image15]
Was bringt LLM Extraction?
| Version 4(no LLM) | Version 5(with LLM) | |||
|---|---|---|---|---|
| Field or Group | Recall v4 | Recall v5 | ||
| attorney-signaturename | 90,53% | 94,74% | ||
| titles | 84,80% | 90,67% | ||
| party/filer | 87,26% | 92,71% | ||
| atty1 | 94,83% | 95,34% | ||
| casenumber | 87,24% | 97,14% | ||
| party1/party2 | 90,17% | 92,49% |
| Advanced Dialog: | LaBERTa Server Integration | |
|---|---|---|
| Plattform ó Variablen Zuordnung | LaBERTa Server Modell-Speicher | LaBERTa Database |
| Aktivitäten | Lastverteilung Modell Inferenz | |
| - LLama | SQL Server PostgreSQL Warteschlange | |
| Designer | LaBERTa Server | |
| Server Verbindung | LaBERTa Server |
Information Extraction 6.0
▪ Jetzt Live Demo
▪ Zusammenfassung eines Vorgangs
▪ Feldextraktion ohne vorheriges Training
▪ Beurteilung
Information Extraction 6.0
Durch die modulare Architektur der Skilja Plattformen ist die neue Extraktionsmethode sofort verfügbar.
Neue Modelle können über den LaBERTa Server einfach geladen und aktiviert werden
Wann verfügbar?
Laufzeit Optimierung durch GPU Unterstützung
▪ Sofort: Mai 2025
Wo verfügbar?
▪ In allen Skilja Produkten sofort
– Extraction Designer
– Vinna Activity AU Extraction
– Vinna Activity Information Extraction
– Tegra skilja
For any further questions please contact:
alexander.goerke@skilja.com
Or visit our web site
www.skilja.com