Sixth sense technology

SixthSense is een draagbaar apparaat dat de fysieke wereld met digitale informatie verbindt en mensen door middel van natuurlijke handgebaren laat communiceren met die informatie. Het werd ontwikkeld door Pranav Mistry, een promovendus in de Fluid Interfaces Group van het MIT Media Lab.

Het SixthSense prototype bestaat uit een pocketprojector, een spiegel en een camera. De hardwarecomponenten zijn gekoppeld in een hanger als draagbaar apparaat. Zowel de projector en de camera zijn aangesloten op de mobiele zakcomputer van de gebruiker. Het apparaat projecteert visuele informatie, waardoor oppervlakken, muren en fysieke objecten rond de drager worden gebruikt als interfaces, terwijl de camera handgebaren van de gebruiker en fysieke objecten herkent met behulp van visiongebaseerde technieken. De software verwerkt de videostreamdata en spoort de locaties van de gekleurde markers (visuele tracking fiducials) aan het uiteinde van de vingers van de gebruiker op. De bewegingen en regelingen van deze fiducials worden geïnterpreteerd als gebaren die fungeren als instructies voor de applicatie-interface. Het maximum aantal bijgehouden vingers wordt alleen beperkt door het aantal unieke fiducials, dus SixthSense ondersteunt ook multi-touch en multi-user interactie.

Het SixthSense prototype implementeert verschillende toepassingen die het nut, de levensvatbaarheid en de flexibiliteit van het systeem aantonen.De tekenapplicatie laat de gebruiker toe te tekenen op elk oppervlak door het volgen van de vingertopbewegingen. SixthSense herkent ook lichaamshoudingen.

• Met de kaartapplicatie kan de gebruiker een kaart weergeven op een nabijgelegen oppervlak.
• De camera neemt een foto van de scène door het detecteren van de gebaren die het frame bepalen. De gebruiker kan op een oppervlak of muur bladeren door de foto’s die hij heeft genomen.
• SixthSense laat de gebruiker ook toe pictogrammen of symbolen te tekenen in de lucht, met behulp van de beweging van de wijsvinger. Het systeem herkent deze symbolen als instructies. Bijvoorbeeld, het tekenen van een vergrootglas brengt de gebruiker naar de kaartapplicatie, het tekenen van een @-symbool laat de gebruiker zijn mail raadplegen.
• Het SixthSensesysteem projecteert meer informatie over objecten waarmee de gebruiker interactie heeft. Bijvoorbeeld een krant, live nieuws of dynamische informatie kan worden verstrekt op een stukje papier. Het tekenen van een cirkel op de pols van de gebruiker projecteert een analoog horloge.

Het huidige prototype systeem kost ongeveer 350 dollar op te bouwen .

Meer informatie vind je op de sixth sense site van Pranav Mistry.