Recientemente tuve que resolver un problema bastante curioso con la conexión a Kafka. Surgió la necesidad de conectarse a un clúster externo de Kafka desde un entorno seguro. Se introducen en el cliente de Python tres nodos del clúster, cuyas direcciones se conocen. Los pods en el entorno seguro no tienen acceso directo a Internet. Todas las solicitudes HTTP se realizan a través de un proxy levantado especialmente. Pero Kafka no funciona por HTTP. Para tales propósitos, el proxy tiene un modo especial: en los encabezados HTTP se transmite el host y el puerto al cual se requiere abrir un túnel; después del intercambio de encabezados, la conexión HTTP permanece activa. Luego, el socket de esta conexión HTTP se puede utilizar como un túnel TCP al puerto deseado. Pero hay un problema: no se puede pasar un socket al cliente de Kafka para la conexión.

Pero no es suficiente tener conexión solo a un nodo del clúster. Al conectarse a cualquiera de los nodos, el cliente recibe la topología actual del clúster y, para un funcionamiento estable, debe tener la capacidad de conectarse a cualquiera de los nodos. No se puede resolver solo con un túnel. Abrir un túnel hacia cada uno de los hosts objetivo no es un problema, pero de alguna manera es necesario informar sobre estos túneles al cliente de Kafka.