Las alabanzas sean para Al-lah, Señor y Creador del universo, y que Su paz y Sus bendiciones sean con el Profeta Muhammad, con todos sus familiares y todos sus discípulos.
El musulmán debe cumplir con sus obligaciones, en este caso las oraciones diarias, y darles prioridad sobre todo. Pese a esto, no se considera que estes cometiendo pecado alguno por las razones que mencionas en tu pregunta, pero debes saber que tienes que reponer las oraciones que no hagas, de no hacerlo, entonces sí se considera que estás cometiendo una falta muy grave.
Y Al-lah sabe más.