Home > ICT-onderzoek NL > NOAG-ict > Themas > Digitale beleving

Digitale beleving

Beeld, taal en geluid
Themabeschrijving
In 2010 wordt vrijwel alle beeld-, taal- en geluidsinformatie standaard digitaal opgenomen, digitaal verspreid en digitaal bewaard. Dit thema gaat om het effectief maken van deze informatie: het inzicht wat en hoe te analyseren, wat en hoe op te slaan, te communiceren en te organiseren. Het raakt aan de kern van de menselijke kennis, informatie en communicatie. De nadruk ligt niet alleen op cognitie maar ook op methodologie, bewerking en systemen. In de interactie van mens en systeem wordt niet het systeem maar de mens als uitgangspunt genomen.
Het raakvlak met de explosie van de hoeveelheid digitale informatie (de data-explosie), die nog maar net is begonnen, maakt dit thema extra interessant.
Onderzoeksuitdagingen
De grote uitdaging die voor ons ligt ? na de computer als codemachine, de computer als de alfanumerieke rekenkracht en de computer als communicator ? is de begrijpende computer die beeld, taal en geluid doorgrondt, bewaart, ordent en interactief aanbiedt, terwijl hij leert van gebruikers.
Digitale informatie is nu nog gefragmenteerd, verspreid, en slecht toegankelijk. Om hierin verbetering te kunnen brengen moeten manieren gevonden worden om kennis uit beeld-, taal- en geluidsdata te kunnen abstraheren en te ordenen in multimedia-informatiesystemen. Hoe kunnen kennis en informatie effectief gevisualiseerd worden en hoe kunnen persoonlijke beeld-, taal- en geluidservaringen het beste opgeslagen worden? Hierin speelt mee hoe computer en mens optimaal kunnen interageren. In de toekomst zullen gezamenlijke, virtuele ervaringen worden beleefd in een augmented of virtual reality op afstand over het internet. De grenzen van de natuurgetrouwheid van de weergave van synthetische werelden en taal zullen worden opgezocht. De psychologische en biologische eigenschappen (voorkomen, beweging, gedrag) van mensen in digitale werelden zullen beter worden gesimuleerd. Beeld, taal en geluid zullen worden samengebracht in multimodale en synchrone interactie, rekening houdend met context en ervaring.
Concrete uitdagingen
Taal- en spraaktechnologie is zo volwassen geworden dat ze met succes in allerlei soorten mens-machine-dialogen kan worden ingezet. Echter, er is nog een aanzienlijke hoeveelheid onderzoek vereist, want geautomatiseerde dialogen gaan toch nog (te) vaak mis wanneer opdrachten onduidelijk zijn of wanneer er door imperfecte herkenning miscommunicatie optreedt. Hier kunnen zogenaamde reasoning systemen uitkomst bieden, die gezien kunnen worden als een verschuiving van herkennen naar begrijpen. Applicaties op het gebied van ?Digitale beleving? moeten een duidelijke begripscomponent hebben willen ze succesvol kunnen worden toegepast. De nieuwste ontwikkelingen op softwaregebied bij bedrijven in zowel taal (Q-go, Emailco, Human Inference, Polderland) als spraaktechnologie (DutchEar, TeleCats) wijzen duidelijk in deze richting.
Digitale beleving wordt pas werkelijk een beleving, en niet slechts een vorm van informatie, wanneer emotie een rol speelt. Een belangrijk deel van die emotie zit ongetwijfeld in de content (beelden, video, muziek of spraak), maar ook in de dialoog tussen gebruiker en computer zal emotie een duidelijke plaats moeten krijgen, met name in spraak (zowel die van de gebruiker als de gesynthetiseerde spraak van de computer). Zowel detectie als synthese van emotie wordt steeds meer gezien als noodzakelijk voor dialogen met een hoog ?ervaringsgehalte?. Het gaat er niet alleen om wt maar ook h iets gezegd wordt. Ook verrijking van de communicatie door het betrekken van andere communicatiemodaliteiten zoals gebaren, gezichtsuitdrukkingen en poses is belangrijke. Hiervan getuigen ook grote Europese IST-projecten als AMI en het Network of Excellence HUMAINE en de inzet van het bedrijfsleven op dit gebied.
Er zijn ook raakvlakken met andere NOAG-ict-thema?s. Beeld-, taal- en geluidsinformatie vormen een belangrijk deel van ?de data-explosie?. Er is dus samenwerking nodig tussen analyse- en informatiesystemen. Een ander raakvlak is er met het thema ?Methoden voor ontwerpen en bouwen?. De input- en outputkanalen van systemen moeten ontworpen worden voor multimedia, rekening houdend met het tijdsgebonden en platformafhankelijke karakter. Ook is er een raakvlak met breedband in ?De genetwerkte wereld?. Video is een veeleisende informatiesoort met 2 tot 3 Mbyte per seconde per kanaal, zonder haperen, dus bij duizend of meer kanalen zijn slimme netwerken vereist. Een ander raakvlak is met grids in het thema ?Het virtuele laboratorium?. De hoofdmoot van het dataverkeer is beeld, taal of geluid, die een grote verwerkingscapaciteit vergt. Het thema ?Digitale veiligheid? houdt zich bezig met het eigendom en de veiligheid van de data.
Maatschappelijke toepassingen
De toepassingen zijn zowel fundamenteel als toegepast, in de maatschappij en in andere wetenschapsgebieden. In 2010 zal multimedia-informatie zijn doorgedrongen tot in de uithoeken van de maatschappij. De ziekenhuizen gebruiken e-patient records en medische audits. Chirurgen bedienen een computer met spraakinformatie. Interactie via taal en spraak maakt het mogelijk om (semi-)geautomatiseerde systemen toe te passen die voor iedereen, ook ouderen en/of gehandicapten, hanteerbaar zijn (?Zorg?). Het kadaster wijzigt kaarten in het veld in plaats van ten burele. De openbare veiligheid wordt bewaakt door intensief gebruik van sensorische (en tekstuele), digitale informatie (?Veiligheid?). Cultuur zal een belangrijke e-cultuurpoot krijgen. Digitale media beheersen broad en narrowcasting (?Creatieve industrie?). In het midden- en kleinbedrijf zullen multimediadocumenten hun intrede doen: makelaars en fysiotherapeuten maken videopresentaties. ?Onderwijs? bestaat uit multimedia- en videocomponenten. Spelletjes worden steeds meer een geheel digitale belevenis (?Creatieve industrie?). Andere wetenschapsgebieden gebruiken in 2010 allemaal multimediagereedschap: zoekmachines voor tekstanalyse, beeldbewerking voor gedragsanalyse of geluid voor vergelijkende studies. Elke sector van de maatschappij krijgt te maken met informatie en kennis in multimediavorm of door multimediacommunicatie tussen computer en mens.
ICT-disciplines
Computer-Human Interaction
Information Retrieval
Multimedia
Signal Processing
Visualisatie
Sleutelreferenties
C. Manning and H. Schuetze. Foundations of statistical natural language processing, MIT Press, Boston, 2001.
D.A. Forsyth and J. Ponce. Computer Vision: a modern approach, Prentice Hall, New Jersey, 2003.
R. Duda, P. Hart, and D. Stork. Pattern Classification, John Wiley and Sons, New York, 2001.
C. van Rijsbergen. Information retrieval, Butterworths, London, 1979.
L. Rabiner and B. Hwang Juang. Fundamentals of speech recognition, Prentice Hall, New Jersey, 2002.

Uitgelicht

Evenementen ICT

ICT.OPEN 2012

Stelling

Roadmap ICT

I/O Magazine

Uitgelicht

Evenementen ICT

ICT.OPEN 2012

Stelling

Roadmap ICT

I/O Magazine
01-01-2013
Russische universiteit zoekt Nederlandse partners in IT
17-12-2012
ICT Personality Award 2012
11-11-2012
Sentinels
Meer nieuws

10-04-2013
Sense of Contact 15
Activiteit toevoegen
Volledige kalender

ICT OPEN 2012


Lees verder

Wat is de grootste uitdaging?
Complexiteit
Maatschappelijke innovatie
Wetenschappelijke paradigma's
Voldoende gekwalificeerde wetenschappers

Resultaten stelling

Roadmap ICT topsectoren

Lees verder

I/O -december 2012

Lees verder