深度学习是一门重要的机器学习技术，自从深度学习在图像和语音识别领域取得突破性进展之后，其应用数量呈爆炸式增加，目前已被应用到自动驾驶，无人机，机器翻译等方面。在许多领域中，深度学习的准确性已经超过人类。与早期的专家系统不同，深度学习从原始数据中提取特征信息，从而对输入空间进行有效的表示。然而，深度学习是以超高的计算复杂度为代价。因此，能够在不牺牲准确性和增加硬件成本的前提下，提高深度学习的学习效率和吞吐量，是目前研究人员关心的核心问题之一。

本报告将简要介绍深度学习中的常用优化算法：SGD，Momentum , Nesterov , Adagrad，Adadelta，Adam等的思想内涵以及最新的研究进展。