BSIPositionspapier zu KI-Sprachmodellen

[16.05.2023] KI-Anwendungen, die natürliche Sprache verstehen und generieren können, sind auf dem Vormarsch – ChatGPT ist nur das prominenteste Beispiel. Das BSI hat nun ein Positionspapier publiziert, das Unternehmen und Behörden über Nutzen, Gefahren und Sicherheitsmaßnahmen informiert.
Das BSI hat ein Positionspapier veröffentlicht

Das BSI hat ein Positionspapier veröffentlicht, das über Stärken und Risiken von KI-Sprachmodellen informiert und Vorsichtsmaßnahmen empfiehlt.

(Bildquelle: BSI)

Große KI-Sprachmodelle, so genannte Large Language Models (LLMs), sind in der öffentlichen Diskussion omnipräsent. Insbesondere die Ankündigung und Veröffentlichung von Modellen wie ChatGPT haben solche KI-Sprachmodelle schnell bekannt gemacht. Im Rahmen des 19. Deutschen IT-Sicherheitskongresses hat das Bundesamt für Sicherheit in der Informationstechnik (BSI) ein Positionspapier veröffentlicht, in dem es über Stärken und Risiken solcher KI-Sprachmodelle informiert und geeignete Vorsichtsmaßnahmen empfiehlt.
KI-Sprachmodelle könnten sich als nützliche Werkzeuge in Bezug auf die IT-Sicherheit erweisen, sagt BSI-Vizepräsident Gerhard Schabhüser. So könnten sie beim Erkennen von Spam oder Phishing-Mails hilfreich sein oder beim Aufspüren unerwünschter Inhalte wie Fake News oder Hate Speech auf Social-Media-Plattformen. In gleichem Maße bergen KI-Modelle aber auch Risiken. Bereits jetzt werde im Darknet über den geeigneten Einsatz von KI zu Erstellung von Schadcode und Phishing-Mails diskutiert. Zudem eigneten sich KI-gestützte Sprachmodelle leider auch sehr gut zur Erstellung und Verbreitung von Falschinformationen. Es gelte jetzt dagegen aktiv zu werden und die Gesellschaft für den Umgang mit KI zu schulen, betonte Schabhüser.

Risikoanalysen und Aufklärung sind unerlässlich

Unternehmen oder Behörden, die über die Integration von LLMs in ihre Arbeitsabläufe nachdenken, rät das BSI, eine Risikoanalyse für ihren konkreten Anwendungsfall durchzuführen und die im Positionspapier genannten Risiken dahingehend zu evaluieren, ob diese für ihre Arbeitsabläufe eine Gefahr darstellen. Darauf aufbauend sollten existierende Sicherheitsmaßnahmen angepasst werden. Grundsätzlich sollten KI-Sprachmodelle aus Sicht des BSI derzeit als Werkzeuge betrachtet werden, deren Ergebnisse, etwa bei der Erstellung von Programmcode oder Texten, von einer menschlichen Intelligenz zu überprüfen sind.
Manipulierte Bilder, Videos und Sprachausgaben sind nach Einschätzung des BSI Risiken, denen mit geeigneten Vorsichtsmaßnahmen begegnet werden sollte. So kann etwa die Authentizität von Texten und Nachrichten nachgewiesen werden, indem die Urheberschaft technisch belegt wird (wir berichteten).
Von besonderer Bedeutung ist nach Einschätzung des BSI die Aufklärung der Nutzenden über die Fähigkeiten Künstlicher Intelligenz. Durch die sprachlich oftmals fehlerfreie Textgenerierung entstehe häufig der Eindruck eines menschenähnlichen Leistungsvermögens und damit ein zu großes Vertrauen in KI-generierte Inhalte. Dafür zu sensibilisieren sei eine wichtige Maßnahme.





Weitere Meldungen und Beiträge aus dem Bereich: IT-Sicherheit
Innenminister Roman Poseck eröffnete den Cybersicherheitsgipfel im Regierungspräsidium Gießen vor mehr als 100 Vertreterinnen und Vertretern südhessischer Kommunen.

Hessen: Höhere Cybersicherheit

[01.11.2024] Mit dem Aktionsprogramm Kommunale Cybersicherheit sollen hessische Kommunen umfassender in der IT-Sicherheit unterstützt und auf künftige Cyberangriffe vorbereitet werden. mehr...

Zwei Männer mittleren Alters sitzen einander zugewandt auf Sesseln, im Hintergrund ein modernes Gemälde.

Thüringen: Datenschutzbericht übergeben

[30.10.2024] Thüringens Ministerpräsident Bodo Ramelow traf sich am Dienstagnachmittag, den 24. September, mit dem Landesbeauftragten für Datenschutz und Informationsfreiheit (TLfDI) des Freistaats Thüringen, Tino Melzer. Im Rahmen des Gesprächs überreichte Melzer seinen Tätigkeitsbericht für das Jahr 2023 an den Ministerpräsidenten. mehr...

Screenshot eines pixeligen Bildschirms. Zu sehen ist auf dunklem Grund die hellblaue Schrift "Security", eine Mauszeigerhand zeigt darauf.

Sachsen-Anhalt: Mehr IT-Sicherheit für Kommunen

[29.10.2024] Um die Cybersicherheit in Sachsen-Anhalts Kommunen zu stärken, startete das Land gemeinsam mit dem BSI das Pilotprojekt „SicherKommunal“. Durch das Projekt sollen Städte, Landkreise und Gemeinden gezielt bei der Verbesserung ihrer IT- und Informationssicherheit unterstützt werden. mehr...

Podium auf der Messe it-sa 2024

it-sa: So steht es um die Cybernation Deutschland

[25.10.2024] Zum Stand der Initiative „Cybernation Deutschland“, den BSI-Grundschutz der Zukunft und über die NIS2-Richtlinie informierte die BSI-Präsidentin Claudia Plattner auf der Kongressmesse it-sa in Nürnberg (22. bis 24. Oktober 2024). mehr...

Generisches Symbolbild für IT-Sicherheit: eine geöffnete Hand vor dunklem Hintergrund hält ein gerendertes, hell leuchtendes Vorhängeschloss, im Hintergrund noch Bokeh-ähnliche Strukturen.

Utimaco/genoa: Sichere Telearbeit für VS-NfD-Umgebungen

[23.10.2024] Utimaco und genua haben die genusecure-Suite entwickelt, um den Anforderungen an sicheres mobiles Arbeiten in VS-NfD-Umgebungen gerecht zu werden. Die Lösung kombiniert Festplattenverschlüsselung und VPN-Technologie, zugelassen vom BSI, um Behörden und Unternehmen datenschutzkonforme Telearbeitsplätze zu bieten. mehr...

In Blautönen gehaltenes 3D-Rendering eines Vorhängeschlosses mit Schlüsselloch, überlagert von einer Schaltplan-Struktur.

Bayern: Cyberabwehr gemeinsam stärken

[21.10.2024] Bei einer gemeinsamen Übung haben Bayerns Cybersicherheitsbehörden ihre Reaktionsfähigkeit auf komplexe Cyberangriffe getestet. Im Fokus standen übergreifende Kommunikation und die Entwicklung gemeinsamer Lösungen, um Kritische Infrastrukturen und Verwaltung besser zu schützen. mehr...

Bundesdruckerei: Cybersicherheit für das Quantenzeitalter

[18.10.2024] Die Bundesdruckerei erprobt neue kryptografische Methoden, um die Kommunikation der öffentlichen Verwaltung auch im Quantenzeitalter sicher zu gestalten. Unterstützt vom BSI testet sie eine quantensichere Public-Key-Infrastruktur, die künftig für sichere Identifikation und verschlüsselte Kommunikation sorgen soll. mehr...

Rheinland-Pfalz: Landesverwaltung setzt NIS2 um

[10.10.2024] Bis zum 17. Oktober müssen die EU-Mitgliedstaaten die NIS2-Richtlinie in nationales Recht umsetzen. Mit der Verabschiedung einer Verwaltungsvorschrift hat das Land Rheinland-Pfalz jetzt die entsprechenden rechtlichen Regelungen hierfür getroffen. mehr...

Das Bild zeigt die Titelseite des Cybersicherheitsberichts Bayern 2024.

Bayern: Gemeinsam gegen Cybercrime

[26.09.2024] Die Bedrohungslage im Bereich Cybersicherheit hat sich in Bayern weiter verschärft. Laut dem neuen Cybersicherheitsbericht 2024 des Freistaats werden immer mehr kleine und mittelständische Unternehmen sowie Behörden Opfer von Cyberangriffen. mehr...

Das Bild zeigt die niedersächsische Innenministerin Daniela Behrens.

Niedersachsen: Sicherheit im Cyberspace

[25.09.2024] Eine neue Cybersicherheitsstrategie soll das Land Niedersachsen besser vor digitalen Bedrohungen schützen. Das jetzt von der Landesregierung verabschiedete Konzept umfasst zwölf Handlungsfelder und bindet alle gesellschaftlichen Akteure ein. mehr...

Das Bild zeigt das Messegeschehen auf der it-sa 2023 in Nürnberg.

it-sa 2024: Sicheres mobiles Arbeiten für Behörden

[24.09.2024] Auf der it-sa 2024 präsentiert Materna Virtual Solution gemeinsam mit Rohde & Schwarz Cybersecurity und agilimo Consulting innovative Lösungen für das sichere Arbeiten mit Smartphones und Tablets. mehr...

Das Bild zeigt eine stilisierte Platine mit enem Cloud-Symbol und dem Schriftzug SAP.

SAP: Milliarden für sichere Cloudlösungen

[20.09.2024] In den kommenden zehn Jahren will SAP mehr als zwei Milliarden Euro in die Entwicklung hochsicherer Cloudlösungen für den öffentlichen Sektor und stark regulierte Branchen investieren. mehr...

Composite: ein in blau gehaltener schemenhafter Computer-Arbeitsplatz, davor die Illustration eines Dokuments mit einem Schloss daran

Saarland: IT-Security für Bildung und Kultur

[09.09.2024] Das Helmholtz-Forschungszentrum CISPA unterstützt das saarländische Ministerium für Bildung und Kultur bei Sensibilisierungsmaßnahmen hinsichtlich der Informationssicherheit. Die Auftaktveranstaltung für diese Zusammenarbeit fand nun in den Räumlichkeiten des Bildungsministeriums statt. mehr...

In Blautönen gehaltenes 3D-Rendering eines Vorhängeschlosses mit Schlüsselloch, überlagert von einer Schaltplan-Struktur.

CGI: BSI-Zertifizikat für Pen-Tests

[27.08.2024] Das BSI als Cybersicherheitsbehörde des Bundes hat die IT- und Business-Consulting-Firma CGI zertifiziert, umfassenden Sicherheitstests in behördlichen IT-Systemen durchzuführen. Diese Penetrations- oder Pen-Tests bilden Angriffsmuster nach und sollen so etwaige Sicherheitslücken aufdecken. mehr...

Blick unter einem Monitor hundurch über eine Tischplatte auf Bundesinnenministerin nancy Faeser, umstanden von mehreren Männern in Jackets.

Bund/Hessen: Faeser informiert sich über Bekämpfung von Cybercrime

[26.08.2024] Gemeinsam mit Hessens Innenminister Roman Poseck besuchte Bundesinnenministerin Nancy Faeser das Bundeskriminalamt in Wiesbaden und zwei Sicherheitseinrichtungen in Hessen – das Hessen CyberCompetenceCenter und den Innovation Hub 110 der Polizei Hessen. mehr...