Quello che dici tu (calcolare i movimenti dei motori in modo da muovere nello spazio una meccanica qualunque, non necessariamente cartesiana) si chiama cinematica inversa. E' argomento accademico ed è pure bello tosto.
Per le stampanti c'è un po' di roba (Delta, SCARA, CoreXY sono già impacchettati nei firmware standard) ma per i bracci c'è poco, più a livello teorico - sperimentale proprio perchè a parità di investimento ti viene una roba più lenta, con più gioco, meccanicamente peggiore.
FreeCAD ha un
workbench per la robotica, ma non mi ci sono mai addentrato. Più che una roba usabile sembra un giocattolo per studenti, ma magari ne tiri fuori degli spunti.
P.S. a voler fresare roba leggera leggera e lasciare il bancone libero... dai un'occhiata alla meccanica della
Morgan 
In quel caso la cinematica è nel firmware, si prende i comandi xyz e il calcolo per ottenerli lo fa il controller in tempo reale
Io sulle dimensioni starei sul piccolo, è vero che si moltiplica la velocità, ma con essa le inerzie e i giochi.