S
sicherheit.ai
KI-Sicherheit & Cybersecurity
_
KI

KI-Halluzination

Phänomen, bei dem KI-Sprachmodelle sachlich falsche, erfundene oder irreführende Aussagen mit hoher Konfidenz als Fakten präsentieren.

🧒
Einfach erklärt
Für jeden verständlich — ohne Vorkenntnisse

“KI kann mit völliger Überzeugung Dinge sagen, die einfach falsch sind. Sie erfindet Bücher, die nicht existieren, zitiert Gesetze die es nicht gibt und gibt Ratschläge die gefährlich sind. Das ist keine Absicht — KI versteht nicht was sie sagt, sie kombiniert nur Wörter die "klingen" wie eine gute Antwort.”

Ausführliche Erklärung

KI-Halluzinationen entstehen durch Muster-basierte Textgenerierung ohne echtes Faktenwissen. LLMs "denken" nicht — sie berechnen wahrscheinliche Token-Folgen. Dabei können plausibel klingende aber falsche Informationen entstehen: erfundene Quellenangaben, nicht existierende Gesetze, fehlerhafte Code-Snippets, falsche medizinische Ratschläge. In Sicherheitskontexten gefährlich: Halluzinierter Code mit Sicherheitslücken, falsche Compliance-Informationen, erfundene CVE-Details. Retrieval-Augmented Generation (RAG) und Grounding reduzieren Halluzinationen.

>Wie funktioniert das?

1

LLM empfängt eine Frage die über sein tatsächliches Trainingswissen hinausgeht oder Details erfordert

2

Statt "ich weiß es nicht" zu sagen, generiert es plausibel klingende Text-Tokens

3

Das Ergebnis klingt überzeugend und vollständig — ist aber faktisch falsch

4

Nutzer ohne eigenes Fachwissen erkennt den Fehler nicht

5

Entscheidungen werden auf Basis falscher KI-Ausgaben getroffen.

?Häufig gestellte Fragen
Antwort

Branchen die KI für faktenkritische Aufgaben nutzen: Recht (erfundene Urteile), Medizin (falsche Diagnosen/Medikamente), Sicherheit (fehlerhafte Code-Analyse) und Compliance (erfundene Regulierungen).

Antwort

RAG ergänzt LLMs mit einer Faktendatenbank — bei Anfragen werden relevante Dokumente abgerufen und dem Modell als Kontext übergeben. So muss das Modell weniger "erraten" und halluziniert weniger.

Antwort

Wenn KI-generierter Sicherheitscode Schwachstellen enthält, wenn KI-Berater falsche Compliance-Empfehlungen gibt oder wenn KI-Sicherheitsanalysen Bedrohungen falsch bewerten.

Antwort

Weil LLMs keine Faktenbank sind — sie lernen Muster in Sprache, keine verifizierten Fakten. Bei Wissenslücken oder unklaren Fragen interpolieren sie plausibel klingende aber falsche Antworten.

Antwort

Keine KI-Ausgaben ohne Verifikation für kritische Entscheidungen nutzen, besonders bei Faktenbehauptungen, Code, Rechtsfragen und medizinischen Themen. KI als Ausgangspunkt, nicht als finale Quelle betrachten.

Quick Facts
KategorieKI
Verwandte Begriffe3
← Zurück zum Glossar
Alle Begriffe im Glossar
APTBrute-Force-AngriffBotnetCVECredential StuffingDDoSEDRFirewallHoneypotIDSKI-Angriff (Adversarial AI)Lateral MovementLLM-SicherheitMalwareMFANetzwerksegmentierungOSINTPasskeysPatch ManagementPhishingPrompt InjectionRansomwareSIEMSocial EngineeringSQL-InjectionThreat IntelligenceTTPWAFXDRZero-DayZero TrustXSSCSRFMitMSupply-Chain-AngriffSpear-PhishingVishingSmishingWatering-Hole-AngriffDrive-by-DownloadInsider-BedrohungTyposquattingClickjackingDNS-SpoofingSession-HijackingBECCryptojackingSIM-SwappingSOCPentestThreat HuntingRed TeamBlue TeamDevSecOpsSecurity Awareness TrainingVulnerability ManagementSASTDAST3-2-1 Backup-StrategieCyber-VersicherungNIS2DSGVOISO/IEC 27001BSI IT-GrundschutzNIST CSFKRITIS — Kritische InfrastrukturenPCI-DSSCRATISAX — Automotive InformationssicherheitBCMMeldepflicht bei DatenpannenAdversarial Machine LearningModel PoisoningDeepfakeKI-HalluzinationLLM-JailbreakFederated LearningShadow AITrojanerComputerwurmSpywareRootkitKeyloggerFileless MalwareBackdoorInfostealerWiperwareAdwareOAuth 2.0SAMLSSOPAMIAMRBACPasswort-ManagerBiometrische AuthentifizierungHardware-SicherheitsschlüsselVPNDMZVLANPort-ScanningBGP-HijackingIPSNACTLSSSHHTTPS — HyperText Transfer Protocol SecureSPF, DKIM & DMARC — E-Mail-AuthentifizierungIPsec — Internet Protocol SecurityAPI-SicherheitDNSSEC