人脸识别包括三个基本步骤，具体如下。
第一个步骤是从图像中检测人脸边框，所用的是人脸检测技术。而人脸检测技术有多种，可以是基于肤色的，也可以是基于人脸特征点（如眼睛）的方法，等等。这一部分内容在本书第3章和第4章已经给出。
人脸识别的第二个步骤是人脸区域的特征提取。根据算法原理和关注点的不同，人脸的特征可以有很多种。深度学习特征是一种特征；还有Gabor、SIFT、HOG等多种特征提取方法（将在后续章节中讲述），用于提取人脸的特征；通过PCA、LDA等特征降维的方法得到的特征，也可以作为人脸的特征；人脸面部的特征点信息，可以选取5个面部特征点（双眼中心、鼻子、两个嘴角），或20个特征点（包括眉梢、鼻端、下巴、双眼中心、鼻子、两个嘴角等信息），或30个乃至更多的特征点，每个特征点的位置和像素信息都可以用于表征人脸的特征。学术界已有人脸特征点自动定位算法。另外，人脸的轮廓也是一种重要特征。人脸特征提取的方法，以及最后所使用的特征，对人脸识别的准确度具有关键作用。
人脸识别的第三个步骤是训练识别人脸特征与人的标签对应关系的分类模型。经过第二步，训练图像集中的每个图像都可以用一个特征向量来表示（如一个4096维的特征向量），最后再加上该图像的标签（表示是哪个人的人脸）。一个图像对应一行类似于上面所属的记录，如果有m个训练图像，就得到m行这样的记录矩阵。然后，在该矩阵上，使用SVM、KNN、Softmax Regression、Logistic Regression等方法训练分类模型。利用最后得到的模型，预测测试图像集中每个图像对应的人的标签。
在上述三个步骤中，第二个步骤是最为重要的，也是决定人脸识别准确度的关键。近年来，随着大数据、深度学习技术的发展，人们越来越多地使用深度学习来提取人脸特征。例如，本章6.1节和6.2节中的DeepID和VGG Face Descriptor人脸识别算法，都代表当今世界上最新的人脸识别技术。但这并不表明深度学习就可以完全替代其他特征提取方法。事实上，最新的研究表明，将深度特征与“传统”特征（如Gabor、LBP、HOG等）恰当地结合起来，可以取得更佳的识别准确度；而在一些应用中，不使用深度特征也许能取得更高的识别准确度。深度学习技术通常是以大数据为前提的，即需要海量的、有标注（标签）的数据，才能取得优于“传统”特征提取方法的识别准确度；对于小规模的数据集，使用深度学习技术得到的特征，未必能取得最高的识别准确度。作者认为，在实际应用中，人们迫切需要一个自动的“特征提取方法工厂”。该“工厂”中集成了所有重要、常见的特征提取方法，并结合具体的图像数据，自动验证、测试不同的特征提取方法，自动选择一种或多种特征提取方法的结合，以达到最佳的分类准确度。目前，尚没有类似自动的“特征提取方法工厂”。目前常见的做法是，人们基于手动测试，手动地尝试、验证若干种不同的特征提取方法或一些方法的结合。很明显，这一过程有相当的主观性和偶然因素，即并不能确保人们最后使用的一个或多个方法能取得最优的识别准确度。而自动的“特征提取方法工厂”面临的主要挑战之一是计算能力，例如，对于一个普通的图像数据集，如果使用深度学习方法，测试一组参数可能需要运行24小时甚至更长的时间。因此，进行大规模的测试以求解最优参数将耗费大量的计算和时间。在很多情况下，这是计算条件或时间不允许的。譬如，据本书作者了解，为了进行深度学习方面的研究和开发，通常需要不少于40块Nvidia Tesla K40的GPU集群，以减少深度学习调参所需的时间。而穷举地将深度学习方法与其他“传统”特征提取方法结合起来以寻找最适合给定图像集的、能取得最佳识别准确度的一个或多个特征提取方法，也将耗费更多的时间，可能是数周，甚至是数月的时间。尽管如此，本书所述的自动的“特征提取方法工厂”一定是未来人脸识别、图像处理研究和开发的重点发展方向。