Content Moderation
Überprüfe nutzergenerierte Medien sofort, noch bevor sie deine Plattform erreichen. Guard automatisiert deine Content Moderation über eine leistungsstarke API. Entdecke, wie du Bilder scannst, was du alles erkennen kannst und wie du deine Reaktion darauf automatisierst.
Problem
Das Problem ungefilterter Medien
Nutzergenerierte Inhalte bringen unvorhersehbare Risiken mit sich. Egal, welche Regeln du aufstellst: Unangemessene, gewalttätige oder synthetische Medien landen unweigerlich auf deinen Servern. Dieser ständige Zustrom ist die größte Hürde für jede Plattform, auf der sich Nutzer vernetzen, handeln oder Meinungen austauschen.
Marktplätze
Überflutet von synthetischen Bildern und betrügerischen Anzeigen
Social-Media-Plattformen
Unterwandert von drastischen Inhalten und ungeprüften Uploads
Bewertungsportale
Bombardiert mit irreführenden Medien und koordinierten Fake-Bewertungen
Schäden
Immer einen Schritt hinterher
Manuelle Prüfung ist für eine wachsende Plattform schlicht zu langsam. Bis dein Team anstößige oder irreführende Medien entdeckt, haben diese deine Nutzer meist längst erreicht. Wer allein auf menschliche Moderation setzt, lässt toxische Inhalte zwangsläufig durchrutschen und löst damit eine Kette negativer Folgen für das eigene Geschäft aus.
Beschädigter Ruf
Zerstört das Markenimage mit einem einzigen toxischen Upload
Massenhafte Abwanderung
Vertreibt Nutzer, die sich auf der Plattform nicht mehr sicher fühlen
Entgangene Umsätze
Schreckt seriöse Käufer, Kreative und wertvolle Werbekunden ab
Anwendungsfall 1
Automatische Medienprüfung
Sende Bilder und Videos an die Guard API und lasse sie automatisch serverseitig analysieren. Du kannst dabei eine Vielzahl kritischer Konzepte erkennen lassen — etwa KI-generierte Inhalte sofort identifizieren und blockieren.
$ python scan_media.py --media uploaded_image.jpg
media: uploaded_image.jpg
space: My Demo Space
results:
- AI-Generated
score: 0.984637
description: Die Hauttextur und das Licht im Hintergrund passen zu keinem Aufnahmegerät. Mehrere Bereiche zeigen die wiederkehrenden Muster, die für ein Diffusionsmodell typisch sind.
Anwendungsfall 2
Erkennung mehrerer Konzepte
Du möchtest nicht nur nach KI filtern? Kombiniere unsere Kernaufgaben und prüfe Medien auf mehrere Kriterien gleichzeitig. Richte dazu einfach eigene Spaces ein, die genau die Erkennungsmodelle anwenden, die du brauchst, und prüfe jeden Upload in einem einzigen Durchgang gegen alle deine Regeln.
$ python scan_media.py --media uploaded_image.jpg --space b920d254-f254-40e4-8d63-ad59f31c622f
media: uploaded_image.jpg
space: My Inbound Space
results:
- AI-Generated
score: 0.964812
description: Durch den Hintergrund und die Hauttextur ziehen sich wiederkehrende Diffusionsmuster.
- Violent
score: 0.912774
description: Im Vordergrund dominiert ein körperlicher Angriff mit sichtbaren Verletzungen.
- Explicit
score: 0.873109
description: In der Bildmitte sind entblößte Intimbereiche zu sehen.
Anwendungsfall 3
Eigene Moderationsregeln festlegen
Wie du auf die Analyseergebnisse reagierst, bleibt ganz dir überlassen. Du kannst zum Beispiel einen hohen Schwellenwert für eine vorsichtige, konservative Filterung setzen. So ist ein markierter Inhalt fast immer ein echter Treffer: Du priorisierst höchste Genauigkeit und lässt Grenzfälle unangetastet.
$ python moderate_media.py --media-dir media --block-ai 0.9 --review-ai 0.8 --block-violent 0.6 --review-violent 0.5
65 Medien blockiert
9 Medien zur Prüfung