设计神经网络

我对神经网络比较陌生，虽然我了解神经网络如何工作以及为什么起作用的机制，但在设计解决问题的方法时遇到了麻烦。

本质上，给定一张面孔的图片，我想确定它是男性还是女性。目前，我使用的是CNN（在fastai中使用simple_cnn（3、16、16、2）生成），但精度不能超过67％。我可以尝试改进哪些方面？为此，我是否应该以不同的方式构造它？