Damit die Kubernetes Pods etwas persistent speichern können, wird eine Storage Lösung benötigt. Hier gilt ganz klar die Devise: Think big!
Bei large Scale Store ist Ceph die erste Wahl.
Man kann zwar auch hier auf Ethernet zurückgreifen, aber wenn Latenzzeiten im Netzwerk ein Problem darstellen können, sollte Infiniband in Betracht gezogen werden. An 10GbE Netzwerke sollte man keine Gedanken mehr verschwenden, bei kleineren Netzwerken reichen redundante/lb 100GB/s LANs, bei größeren Netzen sollten die Ceph Knoten je nach Leistungsfähigkeit der Hardware mit n*400GB/s Infinband angebunden werden.
tbd.: Unterstützt VMware inzwischen Infiniband?
Das Ceph Netz sollte nicht für die Kommunikation der Kubernetes Nodes genutzt werden. Die Gründe liegen hier in der Performance und Security.