## Deep Dive

Mai 2025  
Alexander Goerke, Skilja GmbH

---

## SKILJA ROADMAP

---

## Vinna 4.0: Cloud-Enabled

|  | Component |
| --- | --- |
| www | Frontend(website hosting) |
|  | Backend/Web Service |
|  | Processing of Activities |
|  | Docker Infrastructure |
|  | Visualization of Metrics |
|  | Metrics Storage/Processing |
|  | Collects Metrics |

![Image15]

---

![Image29]

![Image26]

![Image27]

![Image28]

---

## Deep Dive Skilja
Wie Generative AI und LLM in der Dokumententerkennung angekommen sind

Dr. Alexander Goerke & Christian Robelski

---

## Large Language Models

**Was ist ein Large Language Model?**

▪ LLMs sind KI-Modelle, die durch Training auf einer großen Menge von Textdaten erstellt werden

▪ Wie funktioniert das eigentlich?

>> Sie erfassen die allgemeine Struktur und logische Semantik der Sprache

>> Modelle gibt es für verschiedene Sprachen, in verschiedenen Größen und mit unterschiedlicher Komplexität

>> Unterscheidung zwischen „Encoding“ und „Decoding“ LLM

| Wir gehen heute | ins Kino |
| --- | --- |
| Wir gehen heute Abend ins |  |
| gehen heute | ins Kino |
| Wir gehen | Abend Kino |
| Wir gehen heute Abend ins Kino |  |

> **![Image15]**

---

## Transformers

▪ **Ursprüngliches Transformer Modell von 2017:**

▪ GPT  (Generative Pretrained Transformer) sind reine Decoder-Modelle, die auf großen, unüberwachten Textdaten vortrainiert und für bestimmte Aufgaben wie Textklassifikation, Stimmungsanalyse, Fragebeantwortung und Zusammenfassung optimiert wurden.

> **![Image56]**

---

## Umsetzung bei Skilja: LaBERTa Server

Skalierung durch Trennung von Komponenten mit besonderem Hardware-Bedarf (GPU)

## Datenbank-Gestützt

– Lastverteilung  
– Authentifizierung

## Queues zur Verarbeitung von Anfragen

– Unterstützt Polling um Timeouts zu vermeiden

Queue Management um die Zahl der gleichzeitigen Anfragen zu kontrollieren

## Zentrales Logging

Zentrale Kontrolle über eingesetzte Modelle  
>  
– Status (Disabled, Enabled, Default)  
– Modell- und Kontextgröße  
– GPU layers

> **![Image15]**

---

## Umsetzung bei Skilja: LaBERTa Server

Zentrale Verwaltung von Modellen

– Skilja Modelle  
– Öffentliche Modelle  
– Kundenspezifische Modelle

Sofortige transparente Integration über API in Skilja Designer und Runtime

Locator Konzept!

---

## AI Extraktion - Wie und Wo?

| AI Extraction Lokator | Prompt-basierte AI Extraktion | GGUF |
| --- | --- | --- |
| Paragraph Lokator | LLM-Modus ist ressourcenintensiver, aber versteht implizierte Bedeutungen eher | LaBERTa |
| Summary Lokator | Zusammenfassung via Prompt | GGUF |
| Table Lokator | Trainiert Inhalt, Format und Position der Zellen | LaBERTa |
| Trainable Field Lokator | Trainiert Entitäten und Rollen (Gutachter, Geschädigter, Verursacher) | LaBERTa |
| AI Extraction Aktivität | Zusammenfassung und Prompt-basierte AI Extraktion ohne IE Projekt | GGUF |

> **![Image15]**

---

## LaBERTa Small Training

Version 1.0 – April 2024  
> **![Image77]**

5 weeks total time  
2 weeks training time  
Step 2 – 5.5 days

> **![Image15]**

---

## Was bringt LLM Extraction?

|  | Version 4(no LLM) |  | Version 5(with LLM) |  |
| --- | --- | --- | --- | --- |
| Field or Group | Recall v4 |  | Recall v5 |  |
| attorney-signaturename |  | 90,53% |  | 94,74% |
| titles |  | 84,80% |  | 90,67% |
| party/filer |  | 87,26% |  | 92,71% |
| atty1 |  | 94,83% |  | 95,34% |
| casenumber |  | 87,24% |  | 97,14% |
| party1/party2 |  | 90,17% |  | 92,49% |

---

| Advanced Dialog: | LaBERTa Server Integration |  |
| --- | --- | --- |
| Plattform ó Variablen Zuordnung | LaBERTa Server Modell-Speicher | LaBERTa Database |
| Aktivitäten | Lastverteilung Modell Inferenz |  |
|  | - LLama | SQL Server PostgreSQL Warteschlange |
| Designer | LaBERTa Server |  |
| Server Verbindung | LaBERTa Server |  |

---

## Information Extraction 6.0

▪ Jetzt Live Demo

▪ Zusammenfassung eines Vorgangs

▪ Feldextraktion ohne vorheriges Training

▪ Beurteilung

---

## Information Extraction 6.0

Durch die modulare Architektur der Skilja Plattformen ist die neue Extraktionsmethode sofort verfügbar.

Neue Modelle können über den LaBERTa Server einfach geladen und aktiviert werden

# Wann verfügbar?

Laufzeit Optimierung durch GPU Unterstützung

# ▪ Sofort: Mai 2025

# Wo verfügbar?

▪ In allen Skilja Produkten sofort  
– Extraction Designer  
– Vinna Activity AU Extraction  
– Vinna Activity Information Extraction  
– Tegra skilja

For any further questions please contact:  
alexander.goerke@skilja.com  
Or visit our web site  
<u>www.skilja.com</u>