什么是实时视频共享的最佳视频编解码器？

我正在使用C ++和FFMPEG进行实时视频共享程序。我已经一切正常，但是，我不确定要使用哪种编解码器。我到处都看到h264是最好，最快的编解码器，可以肯定，这是非常好的，但是问题是当我使用h264时，会有3-5秒的延迟（帧速率，质量或编码/解码时间，只是一个延迟），而使用MPEG-2等时的延迟不到半秒，因此代码应该没有问题，而编解码器（？）则没有问题。

因此，由于它是实时视频（例如Skype），所以我希望延迟尽可能小，我是否错误地使用了编解码器，或者这实际上是H264的一部分吗？