开发神经网络通常被称为一门“黑暗艺术”。
原因在于,擅长开发神经网络模型需要经验。目前还没有可靠的方法能够通过分析计算来为您的特定数据集设计出“好”或“最佳”的模型。您必须依靠经验并进行实验,才能发现适用于您问题的方法。
很多这样的经验可以通过在测试问题上实际开发神经网络来获得。
然而,许多前辈已经记录了他们的发现、最佳实践和首选技术。您可以从一些关于该主题的最佳书籍中学习到如何设计和配置神经网络。
在这篇文章中,您将发现我推荐阅读的三本书,它们在您为数据集开发神经网络时应常伴左右。
用我的新书《更好的深度学习》来启动你的项目,书中包含分步教程和所有示例的 Python 源代码文件。
让我们开始吧。
推荐的三本神经网络书籍
如果您是一名神经网络实践者,我认为有三本书是您必须拥有其实体版的。
它们是
- 《用于模式识别的神经网络》, 1995.
- 《神经网络精工:前馈人工神经网络中的监督学习》, 1999.
- 深度学习, 2016.
这些书是参考书,而非教程。
在项目开始前和进行中,您会反复翻阅它们,以确保您能充分利用您的数据和模型。
这些书是我一直阅读和参考的。如果您有在开发神经网络模型时推荐的书籍,请在下面的评论中告诉我。
现在,让我们逐一详细了解这些书。
《用于模式识别的神经网络》
《用于模式识别的神经网络》,作者:Christopher Bishop,发布于1995年。
这本伟大的书大约十年后,由至今仍是经典的教科书《模式识别与机器学习》(亲切地称为PRML)接续。Christopher Bishop既是爱丁堡大学的教授,也是微软剑桥研究院的主管。
这本书是神经网络领域的经典之作。它是一本手册,巧妙地捕捉了当时的理论现状,以及近25年后仍然相关的技术。
尽管从头到尾阅读本书将为您提供坚实的基础,但我更鼓励您将其作为参考,以最大程度地发挥神经网络模型的作用。
我建议根据需要查阅以下章节:
- 第7章:参数优化算法
- 第8章:预处理和特征提取
- 第9章:学习与泛化
仅第9章就值回书价,它列举了您应该测试的正则化方法和集成方法的详细描述。
我推荐这本书,因为鉴于几乎每天都有新方法的出现,实践者们常常忘记那些久经考验的基础知识。
我认为这本书已经绝版,但您可以在网上随处找到二手书和国际版本。
想要通过深度学习获得更好的结果吗?
立即参加我为期7天的免费电子邮件速成课程(附示例代码)。
点击注册,同时获得该课程的免费PDF电子书版本。
《神经网络精工:前馈人工神经网络中的监督学习》
《神经网络锻造:前馈人工神经网络中的监督学习》,作者:Russell Reed 和 Robert Marks,发布于1999年。
我对这本书情有独钟。
它发布后不久我就购买了它,并在2000年代将其作为我许多神经网络算法实现的参考。
我最喜欢这本书的两点是:
- 代码
- 图表
这本书用数学和描述来解释概念,但更重要的是,他们还使用伪代码片段或ANSI C来展示事物是如何运作的。这在您第一次编写误差反向传播或激活函数时非常宝贵。
这本书还使用了决策面模型的图表。这对于理解模型在不同学习算法下训练时正在做什么/看到什么,以及正则化等因素如何影响模型,都非常宝贵。
鉴于作者在该领域的兴趣,书中对剪枝方法可能有所偏重;尽管如此,我仍然建议您在开发自己的模型时查阅以下章节:
- 第14章:影响泛化的因素
- 第15章:泛化预测和评估
- 第16章:改善泛化的启发式方法
- 第17章:噪声输入训练的影响
尽管我建议您购买此书并将其放在手边(一直如此),但Robert Marks已在他的网站上提供了该书的HTML格式重印本:
深度学习
《深度学习》,作者:Ian Goodfellow, Yoshua Bengio, 和 Aaron Courville,发布于2016年。
这是1990年代经典著作与现代深度学习之间缺失的桥梁。
重要的是,书中在介绍神经网络时,仔细提到了使该领域发展到今天所取得的创新和里程碑。特别是《第6章:深度前馈网络》和《第6.6节:历史注释》。
有三个章节是神经网络实践者的必读内容;它们是:
- 第7章:深度学习的正则化
- 第8章:深度模型训练的优化
- 第11章:实用方法论
第11章尤其重要,因为它将具体方法以及何时如何在实践中使用它们联系起来。仅此一章就物超所值。
这是一本必备书。您需要一本实体书。然而,全文可在该书的网站上获取:
进一步阅读
如果您想深入了解,本节提供了更多关于该主题的资源。
书籍
- 《用于模式识别的神经网络》, 1995.
- 《神经网络精工:前馈人工神经网络中的监督学习》, 1999.
- 深度学习, 2016.
附加书籍
- 模式识别与机器学习, 2006.
附加链接
总结
在这篇文章中,您发现了我认为每个神经网络实践者都必须拥有的三本参考书。
您自己是否使用其中一本或多本?
您主要参考哪些章节?
您还有其他经常参考的书籍吗?
请在下方留言告诉我。
嗨,Jason,
感谢推荐。您会推荐哪些书来学习更实用的深度学习(即少一点理论,多一点使用真实数据进行编码)?
感谢一切,
大卫
有一些,也许可以从这里开始
https://machinelearning.org.cn/start-here/#deeplearning
我更有动力继续阅读《深度学习》这本书。现在读到第5章,但会跳到第7、8和11章,因为Jason说这些是必读章节。
一如既往地感谢Jason。
很高兴它有帮助。
一如既往地,Jason,感谢您的帖子。
我希望这些书有所帮助。
您为什么说我们需要这些书的实体版?您认为实体版比电子书版本有什么额外的价值?
我喜欢电子书和实体书的原因不同,但我发现技术书籍的实体书非常宝贵。这有点像知道在书的哪个位置涵盖了某个主题,能够翻到那一页——知道是哪一页以及那一页的哪个位置。能够拿着它。
不过只适用于参考信息。对于基于教程的材料,我看不出有这个必要。
先生,请尽量选择电子书,为环境保护尽一份力。此致,
谢谢你的建议。
非常有价值的信息……感谢您的帖子……
不客气,很高兴它们有所帮助。
那么关于Jose C. Principe, Neil R. Euliano和W. Curt Lefebvre的《神经网络与自适应系统》这本书(如果您恰好知道的话)呢?您认为它也值得列入清单吗?
我想听听您的意见。
神经网络与自适应系统:从仿真到基础
https://amzn.to/2XzNCwJ
抱歉,我没有读过这本书。
非常有价值的信息……感谢您的帖子……那么Haykin的《神经网络与学习机器》呢?请给出您的宝贵意见。
抱歉,我好像不认识它。
我很好奇您为什么更强烈推荐 Bishop 1995年的书而不是他2006年的书?似乎他2006年的书更有名。
是的,但1995年的书100%专注于神经网络,并且仍然是一本极好的读物!2006年的书在机器学习方面更广泛。