Mulți roboți din zilele noastre pot să urmeze instrucțiuni verbale, totuși, mai întâi robotul trebuie să fie programat cu un program care să ăi permită să răspundă la acele instrucțiuni într-un fel predeterminat. Nu ar fi mai ușor dacă am putea să evităm toată partea complicată de software și să vorbim cu robotul așa cum vorbim și cu oamenii și să îi explicăm ce vrem să facă? Așa au gândit și cercetătorii de la Universitatea Cornell și de aceea au proiectat și construit un robot care învață ca parte a proiectului lor "Tell me Dave".
Bazat pe robotul PR2 al celor de la Willow Garage, robotul Tell me Dave este continuarea unor cercetări ale celor de la Cornell care includ învăţarea roboţilor să identifice activităţile oamenilor doar prin observarea mişcărilor acestora, să identifice obiecte şi situaţii dintr-un mediu şi să răspundă bazându-se pe experienţe din trecut şi folosint date vizuale şi non-vizuale pentru a rafna înţelegerea robotului asupra obiectelor.
Robotul este echipat cu o cameră 3D şi, folosind software de viziune computerizată dezvoltată în prealabil în laboratorul Corneel, a fost antrenat să asocieze obiectele cu scopul lor. De exemplu, robotul va examina împrejurimile şi va identifica obiectele din jur, o oală de exemplu. Ştie că într-o oală poţi să torni lucruri sau poţi să torni din ea şi că poate fi folosită pe un aragaz pentru a fi încălzită. Ştie şi că aragazul este folosit pentru încălzit şi care anumite controale care îl controlează. Roboul poate sa identifice si alte lucruri din jurul lui cum ar fi robinetul sau cuptorul cu microunde. Deci dacă îi ceri robotului să îţi facă paste va folosi informaţiile pe care le-a adunat în timp ce scana mediul pentru a crea rutina necesară pentru a face paste din ce are la îndemână. Va pune apa în oală de la robinet, va pune oala pe foc şi apoi va găti. Ce e interesant e faptul că robotul va putea face asta şi dacă vei schimba mediul adăugând sau luând din ustensile şi se va adapta la schimbări. Deci dacă îi vei spune să fiarbă apă şi nu mai are aragaz va folosi cuptorul cu microunde.
Pentru a îi da aceste capacităţi, Ashutosh Saxena, profesor asistent de informatică la Universitatea Cornell, învaţă roboţii sp înţeleagă directive în limba naturală a mai multor vorbitori. Din cauza faptului că limba umană poate fi uneori vagă, iar instructorii pot uita detalii importante, Saxena învaţă roboţii să se adapteze folosind algoritmi care traduc instrucţiunile vorbite care identifică cuvintele cheie şi compară cu ce a învăţat în trecut pentru a putea să introducă cuvintele lipsă din instrucţiuni şi să poată executa.
Robotul nimereşte ce trebuie să facă în 64% din cazuri. Luând în considerare schimbare comenzilor sau a mediului, robotul a reuşit să introducă singur paşii lipsă de trei ori mai bine decât versiunile lui timpurii.
