hallo herzlich willkommen zum Mitschnitt des Ausstellervortrags vom 28.05.2026 die Zukunft von JAWS und KI was kommt als nächstes für barrierefreie Technologie mit Freedom Scientific viel Spaß mit dem Vortrag bis dann heute sprechen wir über JAWS und was in Zukunft noch kommen wird mit JAWS und KI wo entwickeln wir uns hin was steht als nächstes an ich bin Roxana Fischer Product Manager für blind and Low Vision Technologie bei der Firma Vispero ich ja arbeite an JAWS aber auch ZoomText und Fusion und heute sprechen wir über unsere KI Projekte erstmal JAWS und KI wo stehen wir eigentlich heute wir haben ja gesehen in den letzten Jahren dass moderne KI und die sprachmodelle sich signifikant verbessert haben und da haben wir mit JAWS immer weiter mitgezogen und was wir aktuell schon drin haben in in JAWS und teilweise auch in ZoomText sind die Beschreibung von nicht barrierefreien Bildern mit der Möglichkeit auch weitere Fragen zu zu fragen da hat der Kollege von papenmeier gestern ne Präsentation zu gehabt und auch morgen genau man kann dann folgefragen stellen was in dem was Inhalt was der Inhalt ist zum Beispiel beim Diagramm noch mal weiter nachfragen dann haben wir auch in Englisch heißt es AI Labeler ich bin grad nicht sicher mit der deutschen Übersetzung eine Funktion die dabei hilft Elemente die nicht beschriftet sind einfach zu in der Screenreader-Sprache sozusagen zu übersetzen das heißt wenn 1 Element an sich zwar den Fokus bekommen kann aber kein Namen und keine statusinformation ausgewählt oder nicht ausgewählt zur Verfügung steht können wir das jetzt mit KI hinzufügen und somit dafür sorgen dass Leute die anderenfalls an diesem Element geblockt werden würden weiter arbeiten können dann haben wir auch noch letztes Jahr den AI Companion hinzugefügt der heißt aktuell das JAWS Companion und was der kann is halt dabei helfen in natürlicher Sprache Nutzern dabei zu unterstützen welche Joystick Einstellung für sie wichtig sind wichtig Tastenkombination aber auch welche Tastenkombinationen wichtig sind für Office oder wie man dort navigieren kann also wirklich so n Assistent der dabei helfen kann wenn man doch mal blockiert wird weil man was nich weiß wie man's bedient in Word dass man da jemand Mein Tool hat dass man fragen kann wie wie geht das noch mal kann man hier mal weiterhelfen dieses Tool ist spezialisiert auf wirklich die Screenreader-Bedienung und die tastaturbedienung dann haben wir auch unseren also Page Explorer hinzugefügt der hilft dabei bei Webseiten navigationshinweise zu geben also eine wenn man eine Website aufmacht kriegt man einen Überblick über die Webseite was aktuell wichtig ist was die Funktionen sind und n paar Hinweise wo man sich schnell hin navigieren kann oder wie man die Seite navigieren kann und natürlich haben wir auch Schulung zur barrierefreien Nutzung von AI entweder international über unsere Dealer oder direkt in Englisch von meinen direkten Kollegen und um alles zusammenzufassen wir haben so super Fortschritte gemacht was jetzt möglich ist um die Barrierefreiheit vor allem mit JAWS zu verbessern oder zumindestens die Zugänglichkeit heute ist die große Frage okay was kommt als nächstes wir haben uns sehr viel darauf fokussiert Informationen zur Verfügung zu stellen Informationen die vorher nicht verfügbar waren die wir mit AI und der visuellen analysierung ja bereitstellen können diese auch an den Nutzer weiterzugeben unser großen Bereich den wir aber noch nicht vollständig uns angeschaut haben ist die Aktion die Ausführung von Aktionen wir wissen dass in der digitalen Welt es noch 1 großes Problem aktuell gibt mit der Barrierefreiheit von Anwendung und Webseite selbst mit all der Information die aktuell existiert sind nicht alle Webseiten barrierefrei und nicht alle Anwendung und da sollte immer noch von den Firmen dran gearbeitet werden aber mit JAWS schauen wir auch drauf wie wir die Barrieren so lösen können dass der Nutzer die Power hat dieses zu überwinden ja ja oft gibt's aber das Problem dass die ja visuelle Benutzeroberfläche zuerst programmiert wird und auch fokussiert wird in der ganzen Entwicklung am meisten getestet wird und die Barrierefreiheit nicht immer direkt mitgedacht wird das führt zu Problem dass das Layout von Webseiten häufig sich darauf fokussieren dass sehende Leute einen schnellen Überblick bekommen aber vielleicht die headings einfach nur visuell angepasst worden sind aber nicht wirklich richtig markiert sind und und dazu kommt auch noch dass Text der zum Beispiel rot markiert ist einfach für sehende Leute heraussticht aber wenn er nicht Anders markiert ist halt nicht für den Screenreader Nutzer und auf der anderen Seite 1 Screenreader Nutzer wir braucht wirklich diese Struktur von der Website die gegeben ist und navigiert sich n bisschen Lineal oder basierend auf der Struktur über die headings über ja formularfelder über die Seite und und ja führt dazu dass wenn sich die Entwicklung doch häufig noch auf Sehnen Nutzer zuerst fokussiert dass ja Screenreader Nutzer manchmal nicht die beste Lösung erhalten und daraufhin die Barrieren in der digitalen Welt noch haben ja aktuell ist dann das Problem dass der Nutzer nicht weiterkommt sehende Hilfe brauch oder drauf warten muss dass die Website korrigiert wird dieses Problem ist das Problem was wir mit dem neuen KI Möglichkeiten wirklich angehen wollen und diese dieses Problem wirklich ja zu lösen und dabei zu helfen dass eine1 Wunsch komplett ausgeführt werden kann zum Beispiel man is immer möchte n Restaurant 1 Tisch reservieren und der Date datepicker also der Date-Picker / Kalenderauswahl funktioniert nich weil die schlecht beschriftet is oder komisch programmiert is und man nich wirklich auswählen kann welches Datum was man für die Reservierung braucht und um das dann zu überwinden wollen wir eine Lösung haben für den Nutzer selbst danke woran wir aktuell arbeiten ist 1 JAWS AI Agent der das interaktionsmodell verändern kann in diesen Situationen und anstatt nur die Möglichkeit zu haben manuell über die Oberflächen zu navigieren und an manchen Stellen stecken zu bleiben kann der Nutzer mit dem Agenten in natürlicher Sprache ähnlich wie auch bei unserem beschreibenden Bild sein Wunsch direkt in Sprache mitteilen und und der JAWS Agent wird sich den Text anschauen die nutzerabsicht raus analysieren also zum Beispiel wenn ich sage ich möchte einen Tisch für die und die Zeit reservieren wird das von dem Agenten übersetzt in eine Art und Weise die dann halt ausgeführt werden kann dazu kommt dass der JAWS Agent sich zwar die barrierefreiheitsinformation von der Website anschaut aber zusätzlich auch noch die das aktuelle Bild und die Website auch visuell bearbeiten kann das hilft dabei wirklich die visuellen Informationen die wirklich dort sind auch noch mal zur Verfügung zu stellen und ja ja interpretier dass diese interpretiert werden können als nächstes würde der Agent nachdem er verstanden hat was der Nutzer möchte verstanden hat wie was der Bildschirm aktuell aussieht und was zur Verfügung stellt steht die Aktion ausführen oder auch wenn gewünscht anleiten was was aktuell zur Verfügung steht was die Möglichkeiten sind das hilft den Nutzern dann dabei ihr Ziel ja zu erreichen und auch vor allem bei Webseiten die man nur einmal verwendet kognitiv zu belasten und die lernbarriere zu reduzieren ich war selbst früher mal Trainer bevor ich meine Rolle als Product Manager angenommen hab und hab's häufig gesehen dass Webseiten nicht bekannt sind häufig sehr schwierig sind zu navigieren weil man sich erstmal orientieren muss in den Fällen kann der Agent da auch übernehmen und die Schritte ausführen danke genau noch mal drauf eingehen wie funktioniert diese Agent also was was ist das wirklich wie wie schaffen wir das der Nutzer kann entweder über Sprache also wirklich so ja übers Mikrofon denn die Anwendung ja beschreiben was gemacht werden soll oder auch dieses eingeben über die Tastatur was immer besser funktioniert und daraufhin wird der Agent dann die nutzerabsicht interpretieren auf dem Bildschirm schauen bei ihrer Barrierefreiheitsinformation anschauen und rausfinden was wirklich ausgeführt werden kann basierend auf den Wunsch und was zur Verfügung steht und dann ja was den Agenten für JAWS noch mal wirklich Anders macht als andere Agenten auf dem Markt ist dass die Aktion deutlich erklärt werden und jeder Schritt wirklich mitgeteilt wird also sobald was passiert wird dies nicht nur visuell dargestellt sondern auch in einer nutzerfreundlichen Sprache mitgeteilt dass man wirklich weiß okay was passiert hier grad mit meinem PC ich möchte nicht nur eine Aktion komplett ah sorry komplett ja unsichtbar ausführen aber ich möchte wirklich auch wissen was passiert weils ja Mein PC is und ja ich natürlich auch wenn irgendwas falsch läuft die Möglichkeit haben möchte den Agenten zu stoppen und das führt mich auch zum nächsten Punkt unser Agent wird jederzeit mit Escape beendet werden können und in dem Fall ist die Aktion nicht komplett verloren sondern die Schritte wurden bis dahin ausgeführt und sobald sie abgebrochen werden wurde konnte kann man dann an der Stelle weitermachen in dem Fall dass man zum Beispiel wieder beim Restaurant Beispiel beim Tisch das reservieren möchte die Zeit genannt hat und merkt dann oh ne der ich hab mitbekommen dass der Agent doch n falsches Datum ausgewählt hat oder mich nicht richtig verstanden hat kann jederzeit Escape gedrückt werden die Aktionen wieder neu definiert werden oder auch wenn man sagt okay du hast Mir jetzt schon beim wichtigsten geholfen AB hier kann ich selbst mit dem Screenreader übernehmen und kann man da die Aktion beenden und selbst weiterarbeiten was auch sehr nützlich is wenn zum Beispiel das datumfeld ausgefüllt werden soll aber man doch die persönlichen Daten lieber selbst eingibt als es einem Agenten zu überlassen ja noch dazu möchte ich gern sagen dass der Agent nur hinschaut und nur Aktionen ausführt wenn der Nutzer diesen ausgewählt hat ja also JAWS will diesen Agenten haben aber er wird nur laufen wenn man sich das wirklich aussucht das heißt wir werden keine automatische AI analysierung durchführen sondern nur auf Wunsch des Kunden hin ja ja als nächstes hab ich gerne 1 Beispiel was ich einmal vorführen möchte was 1 Kollege von Mir aufgenommen hat in diesem Beispiel geht es um die Situation 1 Tisch in einem Restaurant zu buchen die Demo hier ist in in Englisch da viele von meinen Kollegen in Amerika auch sitzen genau der wird das als Spracheingabe eingeben welchen Tisch er reservieren möchte oder auf welche Zeit und dann werden die Schritte ausgeführt und es gibt immer diesen diesen Feedback von dem Agenten wieder ich werd das Video einmal abspielen danke hello everyone this is A Demo of the JAWS AI Agent solving A real-world accessibility Challenge I'm on A restaurant's Reservation Page and While the Information is technically there for Me to Book A Table navigating the Page with my Screen Reader has been very Difficult in particular the Date and Time pickers on this Site are Not labeled correctly which makes selecting A Reservation Time frustrating and very Time consuming instead of relying on Trial and Error and navigating around the Page trying to Figure out which Controls I Need I'm Simply going to ask the AI Agent to handle this Task for Me so i'll bring up my Agent and I will provide the following prompt please Book A Table for Me at this Restaurant the Reservation should be For two People next Saturday at Eight PM okay i'll go ahead and submit that prompt switching to the Browser Window with the Restaurant Website to examine the Booking Interface clicking the reservations Link to Access the Table Booking Interface clicking the Date Field to open the Date Picker and select next Saturday selecting Saturday May twenty-third twenty twenty-six as the Reservation Date selecting Eight PM as the Reservation Time For your Table i've Set up your Reservation For bb's Restaurant with the following Details Date Saturday May twenty Third twenty twenty Six Time Eight PM Party Size two guests Location dining Room would You Like Me to complete this Reservation by clicking the Reserve now Button okay as you can See the Agent was easily able to go in and Set up A Reservation for Me For next Saturday at Eight P M For two People this is A powerful Example of how the JAWS AI Agent Can help Bridge accessibility Gaps and enable Users to accomplish Tasks independently when traditional accessibility Support Breaks down in diesem Beispiel wurde der Tisch reserviert alle Aktionen ausgeführt und denn Agent bevor es wirklich abgesendet wird fragt auch noch mal danach ob alles korrekt ist und dass man das Datum sich noch mal anschaut die Zeit noch mal die die Größe von der Gruppe und auch die Location und genau der Agent wartet in dem Fall drauf dass man noch mal sagt okay das ist alles richtig bevor dann der nächste Schritt kommt um wirklich sicherzustellen dass der Nutzer weiß was passiert und alle Aktionen und ja kommuniziert werden aber auch kontrolliert werden von dem Nutzer selbst damit man selbst in ja Kontrolle bleibt und weiß was passiert worauf wir uns speziell schon in dem Design fokussiert haben ist wirkliche Mensch Screenreader und die Anwendung oder zugrunde liegende Anwendung und die Interaktion und Zusammenspiel zwischen all dem eines der wichtigsten Sachen Sachen die schnell in unserer Forschung aufgekommen sind und mit den Gesprächen mit den Nutzern ist die sprechgeschwindigkeit ja die Screenreader-Nutzer sind häufig sie haben häufig eine schnellere sprechgeschwindigkeit in dem Screen wieder als die standardsprechgeschwindigkeit von vielen von den digitalen AI Assistenten dementsprechend wird es möglich sein die sprechgeschwindigkeit von dem Agenten wirklich anzupassen so dass das und ja dass es angenehm ist damit zu arbeiten und man nicht das Gefühl hat oh der spricht aber jetzt deutlich langsamer als Mein Screenreader auch fokussieren wir uns auf gezielte sprachausführlichkeit in ja in unserem frühen Design haben wir uns erst drauf fokussiert okay wir wollen alles wirklich mitteilen was passiert auf dem Bildschirm nur irgendwann war die sprachausführlichkeit und die Informationen die verbal mitgeteilt worden sind dann sehr sehr sehr viel und schwer zu verarbeiten dementsprechend wurd es dann wieder reduziert auch wirklich die Informationen die am wichtigsten sind dass die wichtigsten Sachen mitgeteilt werden dass man alles weiß aber Entschuldigung da die Raumreinigung Kam grad rein das alles mitgeteilt wird aber halt nicht zu verbos also nicht zu so viel Sprache ausgegeben wird so dass man immer noch ja dem Wut folgen kann ja auch ist die Vermeidung von rein visuellen hinweisen wichtig für uns bei der Entwicklung und die koordinierung der Sprachausgaben JAWS und der Agent dürfen nicht gleichzeitig reden sondern es muss wirklich 1 handover zwischen den beiden geben dass man immer weiß okay wer ist grad wer spricht hier grad und welche Informationen bekomm ich mit ja aktuell sind wir mit dem Agenten in einer Demophase aktuell eine interne internal Demophase ich komm da gleich noch mal genauer drauf zu sprechen aber wir schauen uns mit die mit der Fokusgruppe die wir haben immer noch weiter an okay können wir das sprachfeedback die sprachinteraktion noch weiter verbessern is welche Informationen brauchen wir noch welche Informationen sind nicht so wichtig was sollte anpassbar sein welche Informationen können ignoriert werden und so weiter um uns wirklich darauf zu fokussieren okay wie kann 1 Agent aussehen der mit JAWS zusammenarbeitet und wirklich in dabei hilft Sachen auszuführen aber in einer Screenreader Art und Weise dazu kommt noch 1 wichtiges Thema für uns ist Vertrauen und Sicherheit wie ich schon gesagt hab ist dass der Agent viel mit dem Nutzer in Interaktion arbeitet und und darauf sich fokussiert die Schritte richtig auszuführen und den Nutzern dabei zu unterstützen ja und eine wichtige Sache die wir hier auch analysiert haben und umgesetzt haben is JAWS bietet vollständige Kontrolle auf alles was auf dem PC angeht jeder Button kann ausgeführt werden mit dem Agenten sind wir da etwas zurückhaltender in dem Bereich der Täuschung oder rechtliche Sachen die schwierig sind das heißt ja der Agent versucht immer den Nutzer Intention auszuführen aber wenn auffällt dass diese dass der Nutzer auf einer Website ist die versucht den Nutzer zu täuschen zum Beispiel dadurch dass das ne Phishing Website ist also dass ne Website so aussieht wie ja wie Amazon oder Google aber eigentlich ne Umleitung war um Daten abzufangen dann wird der Agent dies auch rausfinden und dem Nutzer sagen hey das sieht hier nach ner Täuschung Aus bist du dir sicher also die Information wird bereitgestellt und je nachdem wie riskant es is wird der Agent sich verschieden Verhalten häufig wird er es einfach nur dem Nutzer mitteilen und noch mal genau nachfragen das sind Informationen bist du dir sicher dass du das so und so ausführen möchtest wenn es ganze schwierig wird dann wird er all gern sagen okay hier kann ich mit der Automatisierung nich weiterarbeiten ich gebe zurück an den Screenreader und muss dir die Kontrolle übergeben wenns ja andernfalls sehr Sicherheits relevante oder ja Inhalte gibt ihn schwer zu reparieren sind ich hab danach noch mal n Beispiel zu wo es um Täuschung geht und wie der Agent diesen Situation handelt ja in dem Fall dass der Agent sagen wird okay hier kann ich grad nich weiterhelfen wird die Rückgabe an JAWS erfolgen und aber auch die Information bereitgestellt warum dies aktuell passiert ja und unser Ziel ist dass der Agent Unabhängigkeit schaffen soll die Kontrolle aber beim Nutzer bleibt und auch dass es keine großen Risiken gibt basierend auf der Kooperation mit dem Agenten danke ich seh das n paar Fragen und so im Chat sind ich komm dann nachher zu nach der Präsentation als nächstes möcht ich gern darüber reden warum Screenreader weiterhin wichtig bleiben ja KI Agenten und die ganze KI Entwicklung wird Assistive Technologie oder auch die Entwicklung von Webseiten grundlegend verändern aber wir sind der Meinung dass die Screenreader trotzdem essentiell für die Interaktion mit visuellen Oberflächen und digitalen Inhalten bleiben es wird solange sehende Leute noch 1 Bildschirm haben und auch die Informationen haben die für sie besser sind digital oder visuell darzustellen wird es auch 1 Screenreader geben, der diese interpretieren und sprachlich aufbereiten wird und dazu kommt noch dass selbst mit der ganzen KI Entwicklung manche Sachen einfach länger brauchen sich ja weiterzuentwickeln und auch für den Übergang wollen wir sicherstellen dass ja Nutzer die Möglichkeit haben Bayern zu überwinden mit Chance also 3 Punkte die besonders wichtig sind warum der Screen wieder auch in naher Zukunft wichtig bleibt 1 Punkt hab ich schon sehr viel heute drüber geredet ist die vertrau Vertrauen und Zuverlässigkeit für kritische Aufgaben benutzen ist es doch wichtig für Nutzer präzise Kontrolle zu haben die KI Modelle haben dieses ja die KI Modelle halluzinieren manchmal auch wenn das weiter zurückgeschraubt wird aber es gibt halt n Moment wo man wirklich sagt okay hier kann ich jetzt gar kein Risiko gebrauchen ich möchte wirklich aktiv einfach nur diesen Button ausführen und da keine KI mit reinspielen haben und auch für manche anwendungsfälle es ist die direkte Kontrolle sehr sehr wichtig die JAWS noch liefert weshalb wir JAWS aktuell nicht komplett mit dem AI Agenten austauschen werden auch die Geschwindigkeit der Interaktion wir haben diese AI Agenten allerdings ist aktuell wenn eine Aktion mit ner Tastenkombination oder 2 Tastenkombinationen schnell ausgeführt werden kann die ist doch deutlich schneller als die als die Diskussion mit einem Agenten oder selbst die die Formulierung des der Intention auf ner sprachlichen Art und Weise also wenn ich jetzt zum Beispiel Text hab und ich möchte den gern in Fett haben dann ist es doch einfacher Kontroll das B zu drücken und dann den den Text hervorzuheben anstatt das erst mit einem KI erkennt zu besprechen wenn die Tastenkombination bekannt ist ja und auch die optimierte informationsausgabe der Screenreader hat wirklich eine hohe informationsdichte wie ja Informationen mitgeteilt werden der Agent wird immer 1 bisschen mehr drumherum reden weil wir halt diese natürliche Sprache da drin haben das heißt ja der Agent wird wirklich sagen okay ich habe diese Button clicking on the klick on the Button also activated the Button oh Schalter Schalter ist doch n deutscher Name den Schalter aktivieren und der Screenreader kann die Informationen weiter zusammenfassen also wirklich ja Button noch Schalter submit und dann Enter hast du also die informationsdichte war bei der Arbeit mit dem Screenreader ist noch mal höher als bei dem Agenten was auch zur Optimierung führen kann ja dementsprechend fokussieren wir uns darauf wirklich noch beide weiterhin gemeinsam weiterzuentwickeln und die 2. Frage warum braucht JAWS einen eigenen Agenten sind da nicht schon genug Agenten auf der zu die zur Verfügung stehen der JAWS Agent wird entwickelt um mit bestimmten Anwendungen und Oberflächen zusammenarbeiten nicht um sie zu ersetzen also wie gezeichnet im Beispiel verschiedene Webseiten verschiedene Anwendungen können mit dem Agenten bearbeitet werden und der Agent versteht auf die Screen wie der Welt und die Einstellung von JAWS ja das heißt wir werden uns darauf fokussieren dass 1 Jones Agent dabei hilft visuelle Barrieren zu überwinden und das Feedback mitzuteilen aber auch Jones wird trotzdem auch mit anderen Agenten arbeiten die einen anderen Fokus haben ja so zur Projekt Übersicht einmal aktuell hab ich schon gesagt dass der Agent in internal intern intern mit nutzergruppen wird analysiert und getestet werden wir haben sehr viele Blinde und Sehbehinderte in unserer Firma mit denen wir aktuell zusammenarbeiten und immer wieder fokusgruppen haben und nachfragen hier was kann verbessert werden was läuft gut was läuft nicht gut vom Juni und August diesen Jahres werden wir mit ausgewählter Beta Gruppe einen größeren Test starten um unsere nutzergruppe da zu erweitern und mehr Feedback zu erhalten das wird sich auf die USA fokussieren auch das Release was für 10.20 26 geplant wird wird erst in den USA eingeführt weil wir da wirklich schon alle gemeinsam mit der 2027 Version in den USA haben wir wirklich uns schon in die rechtliche Situation alles genug reingearbeitet für die EU ist geplant dass es auch Ende 26 mit Vorliebe Oktober released also zur Verfügung steht aber es könnte auch bis Anfang 2027 dauern weil wir uns durch die Länder spezifisch die spezifischen Anforderungen ja durcharbeiten und diese vor der Veröffentlichung geklärt haben wollen und wir arbeiten dann nah nah zusammen mit unseren Dealern ja erstmal mit unseren Partnern vor Ort wie sie auch auf der Seite hier sehen ja ja hi eine Sache noch die auch über die ich grad noch nicht so rede hab bevor ich gleich noch mal 1 Beispiel geb und dann zu den Fragen übergeh der Agent es wird in der 1. Version in Oktober mit Cloud Lösung arbeiten das heißt das wirklich ist nicht lokal auf der Maschine passiert sondern der ja Cloud Services und verwenden um die Aktion durchzuführen dies liegt daran dass wir Test durchgeführt haben mit die mit lokalen und Cloud Lösung und gesehen haben dass die Zuverlässigkeit die uns sehr wichtig ist bei Cloud Lösung aktuell noch höher ist und wenn wenn man wirklich 1 Modell lokal haben möchte ist sehr viel sehr hohe systemanforderung an die Umgebung an den Laptop gestellt werden dementsprechend fokussieren wir uns im 10.20 26 drauf diese Lösung richtig Design zu haben die richtige Interaktion mit JAWS zu definieren und dabei dann Cloud Services zu verwenden ich glaub da kommen bestimmt gleich noch mal n paar Fragen wenn ich in dir in den Chat schaue ja ja Last but not least würd ich gern einmal die die eine Situation zeigen über die ich vorhin schon mal kurz gesprochen hab wo es n paar Sicherheitsbedenken auf gibt Beziehung auf Bezug von der Website und wie der Agent in dem Fall interagiert und der Nutzer drüber informiert was ja los ist und warum eine Aktion grad nicht empfohlen wird ja hello everyone this is A Demo of the JAWS AI Agent detecting deception on A Website containing downloadable malware that is disguised as legitimate Chrome Browser Update downloadable Package the Problem we are addressing is that the JAWS AI Agent Needs to have A Safety Framework to Protect Users from directing the AI to accidentally Download malware or any other harmful Software onto their Computer so here I'm going to ask the AI to help me Download A Google Chrome Update from this deceptive Page and See if It Can detect that this Website is trying to have Me Download malware onto my Computer so I'm going to open up the JAWS AI Agent Window and Type in my first Question which is to Download this Google Chrome Update from my currently Open Google Chrome Page and submit that Query For Evaluation Request blocked the Agent cannot proceed with this Request why this was blocked i've blocked this because Chrome never Updates Through A Webpage this appears to be A Fake Update scam designed to Trick You into Downloading malware so as we just Heard the AI blocked this Request outright and Its rationale is that It blocked this Request because Chrome never Updates Through A Webpage and It says this appears to be A Fake scam designed to Trick You into Downloading malware so as A User I am somewhat convinced here but let's say I want to get down to the real Details of why It blocked and understand better why this Block is surfacing so I'm gonna ask the AI what were the risks You identified that LED You to Block this Request I blocked your Request because It matched A known Social Engineering Attack Pattern here are the specific risks I identified Key Risk factors Fake Update Scams are A common Attack Vector legitimate Chrome Updates Happen automatically in the Background Through Google Servers Not Through webpages scammers Create Fake Update Pages to Trick Users into Downloading now where the Request itself was suspicious You asked Me to Download A Chrome Update from A currently Open Chrome Page this is exactly how These Scams Work they Display A Fake Update prompt on A Webpage in pressure das Beispiel noch mal auf Deutsch zusammenzufassen der Nutzer Kam hier auf eine Website die versucht im mitzuteilen hey hier is n Link klick mal drauf ich möchte gern einfach nur n Chrome Update zu deinem für deinen Browser installieren allerdings ist es eine Phishing-Website und ja das sieht man oder kann Technologie analysieren an der Art und Weise wie wie es kommuniziert wird aber auch das Form so keine Updates zur Verfügung stellt wenn der Agent in diesen Fällen aktiviert wird werden wir mitteilen okay das kann grad nich ausgeführt werden deshalb wir haben hier 1 hohes Risiko und der Agent konnte aber auch genau mitteilen warum warum er denkt dass dies 1 nicht der legiteter nicht eine richtige Seite von Chrome ist die wo was ausgeführt werden kann in diesen Fällen falls der Kunde falls der Nutzer trotzdem sich drauf fokussiert und sagt okay ich weiß aber dass ich diese Seite vom Freund bekommen hab und ich ich vertraue dir ich möchte weitergehen kann auf JAWS gewechselt werden und die Aktion trotzdem ausgeführt werden in manchen Fällen die nich es so kritisch sind wie in diesem Fall kann auch der wird der Agent nur warnen und noch mal fragen bist du dir sicher dass du das wirklich ausführen möchtest und dann kann man von da Aus weiterarbeiten und dann ja vielen Dank soweit zum zuhören ich werde jetzt einmal zu den Fragen gehen und die Präsentation hier beenden ja genau die 1. Frage hab ich vorhin schon mal beantwortet wo läuft der Agent lokal oder ist online Anwendung und Upload den Pflicht in der 1. Version wie gesagt wir fokussieren uns auf Design und wie alles ablaufen soll dementsprechend wird es eine online Lösung sein uns ist bewusst dass und wir hören das sehr viel als Anfrage dass vor allem in firm und Business das zu Problem führen kann und dementsprechend arbeiten wir da auch an einer Lösung die entweder mit m lokalen ja selbstgehosteten KI System zusammenarbeitet oder das ja oder schauen auch weiter ob es irgendwann Modelle gibt die wirklich auf dem PC laufen können ja wird nicht in der 1. Version sein weil bis erstmal Allen Leuten die privat arbeiten privater ihren PC benutzen zur Verfügung stellen wollen und danach uns weiter damit beschäftigen und wie wir das machen dass es im Business auch akzeptiert wird wir haben da Gespräche und wir haben eine Lösung ja die wir anstreben ist einfach nicht in der 1. Version ja ja da kommt auch noch mal Alejandro der auch sagt der hat dieselbe Frage noch mal Paul hat auch mal noch mal die Frage was was mit Halluzination ist das ist eine sehr gute Frage und deshalb brechen wir es auch in diese kleinen Schritte und checken mit den Nutzern also das heißt der Nutzer gibt erst ne Aus war war dann wird die Nummer von JAWS vorgelesen bei der bei der Auswahl wird's noch mal vorgelesen und in dem Beispiel hatten wir auch dass es bevor es wirklich ja abgesendet wird auch noch mal vorgelesen wird also dass es bei wirklich dann Allen stellen zur Halluzination kommt ist nicht so wahrscheinlich mehr unsere Antwort auf Potential Halluzination auf KI Modellen ist wirklich dass wir den Nutzer und schrittweise mit ja beim Prozess mitführen um solche Sachen zu reduzieren ja der Agent wird für JAWS Version nicht nur bei professional sondern auch bei anderen Versionen zur Verfügung stehen wir sind aktuell noch in Diskussion wie viel Anfragen gesendet werden kann es muss n bisschen limitiert sein aber ja es wird für alle Version zur Verfügung stehen eine wichtige Sache is hier dass die Version aktuell sein muss also wir können nicht sagen okay der Agent läuft für die 2027 Version wirklich bis 2029 wir müssen bei so einem Service wirklich darauf 8. dass 1 Letzt eine aktuelle Version zur Verfügung steht einfach wegen der Entwicklung und Sicherheit und testen und so weiter danke ja die nächste Frage ist noch mal welche Version die KI-Funktion verfügbar sein kann und das 1 1 Nutzer hier die JAWS 25 Version hat die Version wird mit 2027 also mit der nächstfolgenden größeren Version veröffentlicht werden und dann schrittweise ausgerollt wie gesagt für Europa bin ich wird's gegebenfalls im Oktober sein aber vielleicht auch bis Anfang 27 dauern aber es wird nicht zurück auf die fünfundzwanziger oder sechsundzwanziger Version gespielt ja die 1. Frage von Paul ist auch noch mal mit den sensiblen Kundendaten wie gesagt zur Enterprise Anforderung werden wir auch nach Oktober kommen erstmal drauf fokussiert dass es so viel Nutzern wie möglich zur Verfügung steht und dann ja wir müssen wirklich uns drauf fokussieren wie machen wir das im beruflichen Kontext das ist wirklich die Frage die wir aktuell am häufigsten bekommen und auch die kritischste die wir danach angehen wollen danke eine nächste gute Frage ist hier mit den sensiblen Daten und der Agent und die kreditkarteninformation das ist auch 1 Beispiel wo wir noch weiter analysieren wie wir das am besten machen ob wir mit dem Passwortmanager zusammenarbeiten weil wir die kreditkarteninformation haben nicht wirklich selbst speichern wollen sondern das lieber an die Tools übergeben die dafür komplett programmiert sind dementsprechend analysieren wir aktuell ob wir da mit m Passwortmanager und ähnliches zusammenarbeiten können persönlich ist es immer möglich wenn man da sehr starke bedenken hat dass und der Anfang mit JAWS ausgefüllt mit dem JAWS Agenten ausgefüllt werden kann und dann wenn's zur kreditkarteninformation kommt dass man sagt okay da hab ich's doch lieber dass ich die selbst eingeb dann ja dann kann man AB dem Feld auch übernehmen ja Entschuldigung Zoom hat mich gerade rausgeschmissen ich hoffe jeder kann mich hören ich seh allerdings die Fragen nicht mehr im im Chat ich weiß was die letzte noch mit Frage war wer ist verantwortlich für die Aktion die ausgeführt werden da wir diese versuchen schrittweise und der Nutzer mitzuführen werden wir versuchen dass der Nutzer in Kontrolle bleibt und dementsprechend auch wirklich weiß was passiert und die Aktion aktiv ausführt und wir nicht zu Lange Aktion automatisch ausführen das reduziert das Risiko dass was falsch läuft aber auch dass ja der Nutzer wirklich jeden Kontrolle ist und die Aktion auswählt auf auf jeden Fall sind da noch weitere legal discussions and Reviews die aktuell passieren aber basierend auf den Informationen die wir aktuell haben ist das die Richtung wo wir uns hinbewegen und damit da ja sag ich vielen Dank und ja vielen Dank fürs da Kam noch einer hallo die Frage kann ich glaub ich nicht beantworten dann müsst ich sonst mit meinem Kollegen noch mal Rücksprache halten funktioniert der AI Kleid in einer Server kleinkonfiguration aktuell basieren arbeiten wir an der daran dass der und JAWS mit unserem Server kommuniziert und noch nicht in der Firmen im Umgebung wo dann 1 large Language Model Self hosted also selbst gehostet wird hallo LMs die wir uns aktuell anschauen sind die von Anthropic und von OpenAI für den Agenten und da basierend welches am besten performt fokussieren wir uns darauf danke und wo war noch mal die Frage ja es kann aber in Theorie mit Allen large Language Model funktionieren die unsere Tests wir haben sehr viele interne Tests was erfüllt werden muss ja die gut genug dafür sind und genug angepasst werden können um unsere er Requirements um die Anforderung zu erfüllen zu Preisen kann ich leider nichts sagen da müsste ich dann an unsere Partner weiter vermitteln aber wir sind aktuell noch in Diskussion mit unseren Partnern wie das vor allem in Deutschland dann angeboten wird da werden also noch mehr Informationen zu folgen wie gesagt es ist wichtig dass wir halt darauf uns fokussieren dass es eine aktuelle Version ist dass es nicht auf 20242025 läuft aber es wird für die professionelle und für die Home-Version zur Verfügung stehen thank you all and then thank you und noch viel Erfolg weiterhin bei der SightCity oder von zu Hause hallo wir hoffen der Vortrag hat ihnen gefallen mehr Informationen finden sie unter sightcity.net/O032012 vielen Dank und bis zur nächsten SightCity bis dann