通过摄像头捕捉手势控制机器人试验成功

试验的目的是尝试让计算机通过摄像头识别人的动作,并翻译成机器人能识别的命令,来控制机器人。开发平台选的是JAVA,因为可以运行在各平台,并且适用于B/S架构。

现在已经可以控制机器人的八个方向运动和停止,程序开始后,将摄像头图像绘出,用户在图形中电击要跟踪的物品,比如以一堵白色的墙为背景,拿一根带蓝色的笔帽的水笔在图像中,然后点击那个笔帽的位置,程序就会开始跟踪笔帽,并画出运动轨迹。视频被分割为9块,周围的8个分别对应8各方向,中间的对应停止命令,笔帽移动到哪块区域,程序就发送相应的命令给机器人。
还有第二种控制方式,就是让机器人按照笔移动的轨迹运动,但由于没有设置编码轮等精确检测机器人移动距离的部件,再加上我的机器人移动比不上手的速度,这种方式只能在手很慢移动时才能看出一点效果。

但是用JAVA开发的视频程序,似乎都要安装QT for JAVA或一个第三方摄像头驱动才能运行,分发到最终用户比较麻烦,可能是我了解JAVA不深,还没什么解决方法。

不管怎说,还是觉得很高兴,现在,通过语音,身体动作都能控制我的机器人了 :D
Update 2006.05.04 :后来研究了一下游戏手柄的USB驱动,现在也可以用手柄控制了,感觉挺爽!!


为了提供更高效的客户服务及针对性的交流,如需获取详尽介绍或视频等支持,请直接在感兴趣的项目中留言,或联系我们

6 Responses to “通过摄像头捕捉手势控制机器人试验成功”

  1. 1
    wind147 Says:

    fallen
    才看了你动作控制机器人部分。
    能公布一点视频图像识别方面的资料和链接吗?

  2. 2
    fallen Says:

    wind147:
    OPENCV应该是比较好的选择,这里有我收集的相关链接

  3. 3
    Last » Blog Archive » 毕设告一段落,收心应付软考 Says:

    [...] 实现用手机控制机器人 通过摄像头捕捉手势控制机器人试验成功 PPC通过蓝牙控制机器人程序开发完成 发布机器人-Eye 的Flash控制台 昨天的裸板,今天可以AD了! Flash的机器人信号采集、控制界面完成 我的第一块印刷电路板 复杂的美感 完善机器人避障系统 机器人升级蓝牙控制成功 C8051Fxxx 开发心得 我的第一只机器人 Development of a Bluetooth-based webserver 自己腐蚀的第一块“印刷电路板” 在图书馆里调试CH341 [...]

  4. 4
    wind147 Says:

    fallen,
    太感谢了!!!!!正是我要找的东西.
    预祝你系分考过.

  5. 5
    fallen Says:

    呵呵,有用就好。

  6. 6
    Last » Blog Archive » 基于摄像头的交互实践:PG232 Says:

    [...] 和我的《通过摄像头捕捉手势控制机器人》、《基于OpenCV的脸部识别试验》相近的技术,但到达了更高的层次,这次可以跟踪到整个人体的姿态,包括各大关节,还处于Beta阶段,没有透露用什么工具实现的,但是应该大部分发发工具都可以实现,以前看过有人用Flash也实现差不多的东西,如果Flashplayer的效率可以胜任,其他应该都没问题。 [...]

Leave a Reply

偶遇

TV互动小游戏:BitBall

终于赶在周末把这个东西发上来了,也算兑现了我在《反省》中说出来的每两周一定要发一个原创项目的承诺,这种自我强迫的方式真的是行之有效呀!但也是非常辛苦呀!赶到最后一刻只来得及把演示视频拍好传上来。

简单介绍一下这个BitBall,说是“TV游戏”,实际上就是用PC的VGA输出到我家的液晶电视,“互动”就是指你可以真正挥动拳头来打这个电视上的液体球,不用任何其他设备,而且通过变化手的姿势可以使液体球产生不同强度的激荡反应,通过前臂快速的单次往返运动可以实现液体球瞬态的定格,并进行360度旋转(看起来很艺术!)。就目前的实验效果看,动作识别的准确度,如果只是用来粗略控制,还是可以接受,但如果要玩精确控制的游戏,大概非走类似Wii控制器那条路不可了,下一步打算整理一下我的动作感应鼠标,做个精度和Wii控制器相当的手柄来互动互动。

IBM 互动长廊

IBM 互动长廊

验证性视觉识别项目:花丛中

为了验证可行性而做的项目:花丛中。通过用摄像头识别人在投影屏幕中特征点的位置(本次特征点为人的手),来触发投影屏幕中花朵的散开。由于是借用会议厅的投影仪,已经固定了位置,没法调整,而且很不幸的是那个固定的位置比屏幕中心高很多,肢体影子正好被肢体实体盖得严严实实,只能靠时隐时现的影子边缘来识别,如果是向地面投影,人整个进入投影区,效果应该会好得多。发现很多参数要靠现场调整,针对一些情况进行优化效果会有明显改善,以下是针对单人参与优化的视频和多人参与的视频(多人参与很难优化,场面复杂,太没特征了)

针对单人参与优化的视频:

Details »