认识你的脸

face detection

==实验介绍==

Face Detection的目的是从照片中检测到人脸。该实验设计基于opencv的如下实验样例:

https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_objdetect/py_face_detection/py_face_detection.html#face-detection

==实验步骤==

1. 运行run.sh,检测人脸
sh run.sh

2. 修改面部和眼睛的检测参数,观察不同参数对检测结果的影响。例如:

#face_parameters
face_scaleFactor = 1.15
face_minNeighbors = 4
face_minSize = (3,3)
#eye parameters
eye_scaleFactor = 1.15
eye_minNeighbors = 1
eye_minSize = (2,2)

3. 试对多人脸图片进行检测,观察用什么样的参数配置可得到最好的检测结果。例如:
photo_fn = 'img/crowd.jpg'

4. 即时拍些个人照片和集体照片,进行检测。

dnn-face-recognition

==实验介绍==

DNN face recognition是用DNN提取人脸特征,进行人脸识别的方法。


本实验设计基于GitHub上的如下开源项目:

https://github.com/gyunt/vgg-face-python-demo

==实验步骤==

1. 运行run.sh,识别缺省ak.png图片
sh run.sh

2. 即时拍些人脸照片,让进行识别
img_in = 'image/'

3. 修改recog.py,完成人脸确认任务,即给定一张人脸,考察另一个人脸是否属于同一个人。【附加题】

提示:
   对两张图片分别从VGG net中读取中特征向量,再计算两幅图特征向量间的距离,依该距离判断是否为同一个人。

pca-face-recognition

==实验介绍==

Face Recognition是基于PCA+SVM的人脸识别系统。该实验设计基于sklearn的演示程序.

http://scikit-learn.org/0.16/auto_examples/applications/face_recognition.html


==实验步骤==

1. 运行run.sh,观察基于PCA+SVM的人脸识别系统
sh run.sh

2. 修改参数,观察基于不同参数的人脸识别效果。例如:

n_components : PCA中eigence face的个数,越大性能越好。
img_show     : 对test中不同人脸的识别结果进行打印

3. 即时拍一张个人照片,观察系统将这张照片的识别结果,看你象哪位名人。

(1)将照片放到my_home下,命名为me.jpg
(2)sh run-myphoto.sh

tf-neural-texture

==实验介绍==

TF-Texture的目的是自动生成文理图案。该技术基于如下论文:

Texture Synthesis Using Convolutional Neural Networks (https://arxiv.org/pdf/1505.07376v3.pdf)


本实验设计基于GitHub上的如下开源项目:

https://github.com/mohamedkeid/Texture-Synthesis.git

==实验步骤==

1. 运行run.sh,生成缺省纹理
sh run.sh

2. 修改synthesize.py,生成其它纹理。例如:
TEXTURE_PATH = './lib/images/wood.jpg'

3. 修改synthesize.py,观察不同参数对生成结果的影响。可修改参数包括:

TEXTURE_LAYERS #生成纹理时所用的神经网络层,可减少或增加,观看控制不同层得到的效果
EPOCHS #生成时的迭代次数
LEARNING_RATE #学习的速度
TEXTURE_WEIGHT #生成时对纹理的权重

4. 即时拍些纹理照片,让计算机自动生成。

tf-neural-style

==实验介绍==

TF-Style可以对一幅图片进行风格转换。风格转换是2015年由Gatys等提出的一种基于神经网络优化的图像转换技术。

A Neural Algorithm of Artistic Style, Leon A. Gatys, Alexander S. Ecker, and Matthias Bethge.

本实验设计基于GitHub上的如下开源项目:

https://github.com/ftokarev/tf-neural-style


==实验步骤==

1. 运行run.sh,生成缺省图片风格转换。转换结果在output目录下。
sh run.sh

2. 修改update-style.py,生成其它风格。例如:
style_image = './examples/input/the-scream.jpg'

3. 修改update-sytle.py,观察不同参数对生成结果的影响。可修改参数包括:

content_weight : 生成时对内容的重视程度
style_weight   : 生成时对风格的重视程度
content_layers : 内容在神经网络中的表达位置
style_layers   : 风络在神经网络中的表达位置


4. 即时拍些照片,作为内容照片,改变其风格

聆听你的声音

SpeechSeparation

==实验说明==

我们日常听到的声音通常都是多个声源混杂在一起的。声源混合给语音信号处理带来极大挑战。为了将不同声源
分开,可以利用多个麦克风进行录音,利用不同声源在不同麦克风之间的时空信息来定位和分离某一音源的声音,这
通常称为多信道方法(Multi-Channel Solution)。
另一种方法是基于单一麦克风录制的声音,利用每个音源所发出声音的不同模式对不同音源的声音进行分离,或
基于每个音源发音的连续性来对不同音源的声音进行分离。这些基于单麦克风的分离方法称为单信道方法(Single-Channel Solution)。

本实验将基于一种最近提出来的深度聚类(deep clustering)方法对声音进行分离。这一方法的基本思路是将声音转化为
频谱图,对该图上每个时-频块映射到一个特征空间。该特征空间由一个深度神经网络确定的
非线性映射得到,