Smarthome – beeld en spraak herkenning en privacy

Ook al reageren de kunstmatige intelligenties achter de smarthome assistenten van Amazon, Apple en Google niet altijd zoals het hoort op beeld en spraak, het levert zoveel gebruiksgemak op dat klanten de bescherming van hun persoonsgegevens en privacy opzij zetten.

Smarthome: spraak beeld privacy

Spraak herkenning

Met hun ingebouwde far-field microfoons luisteren smart displays voortdurend (zelfs offline) of iemand de zogenaamde hotwords zegt. Voor Google zijn dat ‘Hey Google’ of ‘Oké Google’. De Echo-apparaten van Amazon reageren met de fabrieksinstellingen op de oproep ‘Alexa’, maar in de app kunnen ook andere woorden worden opgegeven. Zodra de displays met behulp van een hotword gewekt zijn, nemen ze de volgende spraakopdrachten op en sturen die geluidsbestanden naar hun servers. Daar vindt de eigenlijke spraakherkenning plaats.

Privacy

Veel gebruikers hebben moeite met het idee van apparaten met microfoons in woon- en slaapkamers. Die bezorgdheid is slechts gedeeltelijk gerechtvaardigd: de slimme displays luisteren wel, maar nemen aanvankelijk niets op en sturen niets naar het netwerk. Pas als je ze aanroept worden de daaropvolgende spraakbestanden naar de servers van Amazon en Google gestuurd.

Onbedoeld activeren

In de praktijk komt het onbedoeld activateren echter regelmatig voor, bijvoorbeeld als een fonetisch gelijkende uitroep zoals ‘Oké, goed’ wordt gebruikt bij gesprekken of op tv. Hoewel dat dan niet bedoeld is voor de slimme displays, nemen ze toch een paar seconden op en proberen met hun cloudanalyse daar een opdracht in te herkennen.

Als je niet wilt dat onopgemerkte audio-­opnamen bij de fabrikanten terechtkomen, kun je de bijbehorende smartphone-apps zo instellen dat de displays het begin en het einde van een opname bevestigen met een bevestigingstoon. Op die manier hoor je tenminste of een opname per ongeluk gestart is en kun je de assistent terugfluiten.

Beperkte herkenning

Amazon wil met de AI-processor in de Echo Show 10 spraakinvoer in de toekomst lokaal herkennen en evalueren. Tot dusver werkt dat echter alleen in het Engels, en of ­Alexa ooit Nederlands gaat ondersteunen is nog maar de vraag. Ook Google werkt aan off­line spraakherkenning voor in elk geval een beperkt aantal eenvoudige opdrachten voor de Assistent.

Hoe goed de spraakherkenning werkt, hangt af van twee factoren. Aan de kant van de toestellen spelen de microfoons de ­grootste rol. Alle testmodellen gebruiken een array van ten minste twee microfoons om commando’s van een grotere afstand op te pikken en de richting en afstand van de ­sprekers te bepalen.

Blijf op de hoogte van de nieuwste informatie en tips!

Schrijf je in voor de nieuwsbrief:

Semantische evaluatie spraakherkenning

Verschillen kwamen naar voren bij de semantische evaluatie door de fabrikant. Daar presteerden de apparaten met Google Assistent beter dan met Amazons Alexa. Hoewel beiden gecombineerde mededelingen ­begrijpen, zoals ‘Doe de lichten in de keuken en de woonkamer aan’, heeft Alexa vaker problemen met complexere vragen en opdrachten dan Google Assistent.

Herkenning van Nederlands

Opdrachten aan Alexa moeten dus vaak precies het gegeven patroon volgen. Dat geldt overigens ook bij Google, zeker de Nederlandstalige spraakherkenning van Assistent is minder goed in het begrijpen van een terloopse vraag als ‘Is de wasmachine klaar?’.

Spraakherkenning meerdere gebruikers

Een voordeel van Google Assistent is dat het onderscheid kan maken tussen meerdere gebruikers op basis van hun spraak. Op de displays kun je ook een of meer extra Google-accounts opslaan. Wie dan vraagt naar afspraken of de verkeerssituatie op weg naar het werk, krijgt een individueel antwoord.

Hoe slim is je huis

Een slim huis wordt natuurlijk niet echt slimmer van het feit dat lampen of thermostaten kunnen worden bediend met een spraakcommando of een touchscreen. In het ideale geval weet je huis zelf wanneer het wat moet doen. Daarvoor worden gewoonlijk min of meer complexe als-dan-regels gebruikt. Dat vereist een smart­home-controlecentrum dat alle apparaten onder één dak verenigt en beheert.

Dat werkt tegenwoordig ook bij de systemen van Amazon en Google. Beide ondersteunen zogenaamde routines. De apps van Google en Amazon hebben daar al eenvoudige sjablonen voor, zoals een standaard ochtendroutine. Met weinig moeite kun je in de apps instellen welke acties bepaalde apparaten moeten uitvoeren en welk spraakcommando moet worden gebruikt om de routine te starten. Als je dan ‘Goedemorgen’ zegt, openen de slimme displays de elektrische jaloezieën en gaan de slaapkamerverlichting en het koffiezetapparaat aan. Om dergelijke routines te starten, kun je voor Alexa eigen (Engelstalige) uitspraken instellen.

Smarthome: Hallo wereld! Verbinding

De slimme displays bieden extra opties voor communicatie zonder dat je naar een mobiele telefoon hoeft te grijpen. Je kunt op verzoek een spraakverbinding tot stand brengen met een ander apparaat in je huishouden of met een eerder opgeslagen extern contact.

Beeld en spraak – communicatiemiddelen

Apparaten van Google, Lenovo en Xiaomi gebruiken de Duo-service voor beeld en spraak, terwijl alle Alexa-apparaten – of het nu slimme luidsprekers, beeldschermen of bepaalde FireTV-producten zijn – spraakverbindingen tot stand kunnen brengen met behulp van hun eigen, naamloze Amazon-dienst.
Bellen naar mobiele nummers is bij ons nog niet moge­lijk, maar behoort in sommige regio’s al tot de moge­lijkheden. Alexa regelt telefonie via Skype.

Googles Nest Hub moet het afleggen als het gaat om videotelefonie – dat apparaat heeft namelijk geen ingebouwde camera. Het toont wel de knop voor video­bellen via Duo, maar meldt vervolgens wanneer de verbinding tot stand is gebracht dat je niet te zien bent omdat er geen camera is. Daarom moet je voor de producten van Lenovo gaan als je videogesprekken wilt voeren via Duo.

Smarthome en privacy

Toegang tot externe apparaten

Amazon biedt voor videobellen op de Echo’s een optie die nog een stap verder gaat. Via Drop In heb je rechtstreeks toegang tot eerder gedeelde Echo-­apparaten van andere Amazon-klanten als zij vooraf expliciet hebben ingestemd met die vorm van communicatie. Op die manier kun je zonder dat de andere partij het video­gesprek actief accepteert zijn camera zien. Drop In kan op elk moment worden geblokkeerd door het toestel in de modus voor niet storen te zetten of door eenvoudig­weg het mechanische cameradeksel voor de lens te schuiven.

Camera volgt sprekers in de ruimte

De Echo Show 10 is met zijn draaiende display volledig ontworpen voor videocommunicatie. Het apparaat kan alle deelnemers aan de communicatie in een kamer volgen via stemlocatie en door personen te detecteren. Dat is geen gezichtsherkenning. Het scherm volgt een spreker terwijl die zich door de kamer beweegt. Een digitale zoom wijzigt de beelduitsnede zodra een extra deelnemer aan het gesprek in het gezichtsveld van de ­camera komt. Je kunt met je videopartner chatten en vrij door de kamer bewegen. Het algoritme is minder nauwkeurig met meerdere mensen in beweging, zodat je soms hardop moet roepen om de focus goed te krijgen. In het algemeen werkt de tracking met de geteste firmware echter vrij betrouwbaar.

Dit is een korte weergave van het artikel Smart displays uit c’t 8-9, 2021, p 88
Door Sven Hansen, Stefan Porteck en Marco den Teuling