Qual a diferença entre to, do, fu e ken?

A diferença é simplesmente uma questão do passado histórico do Japão.
Em resumo, todas estas donominações referem-se ao que nós entendemos como "estado" com autonomia. Doravante traduzidos como "prefeituras".

To é usado somente para Tokyo. Isto é, Tokyo-to (Prefeitura de Tokyo ou Metrópole de Tokyo).
Do é usado somente para prefeituras da região de Hokkaido.
Fu é usado somente em duas prefeituras: Osaka e Kyoto.
Ken é usado nas demais 43 prefeituras.