سلام
این کار به کمک کلاس QSharedMemory به راحتی ممکنه به لینک زیر مراجعه کنید
http://qtips.ir/1392/08/اجرای-یک-نمونه-از-برنامه-single-instance/