Чистая НФ и магия конечно же не могут быть вместе — это идеологический и мировоззренческий нонсенс. Магия — идеализм, а естествознание, как большой блок наук, которым оперирует НФ, должен стоят на позициях материализма, иначе никуда он не двинется. Идеализм непознаваем в принципе. Вводим идеализм как концепцию в НФ — от НФ остаются рожки да ножки.

Кстати, «Звездные войны» и «Дюна» никаким боком не чистая НФ, не нужно путать. Космоопера, говорят, а по мне так фэнтези на просторах космоса. К НФ можно отнести с малой натяжкой «Машину времени» и «Человека -неведимку» Уэллса и точно — «Гиперболоид инженера Гарина» Толстого.

Только давайте маленько мух от котлет отделим, а? Магия не равно фэнтези и уж подавно на основании этих заявлений никак нельзя сделать вывод, что фэнтези хуже НФ.

Разница в чем? В том, что идеология фэнтези-произведения в принципе может быть любой, но как правило она идеалистическая. Идеализм как основа мира произведения позволяет существовать в нем магии. Непознаваемое — вполне себе предмет для фэнтези. Для НФ же непознаваемое непреемлемо, как непреемлемо оно для науки — непознаваемое находится вне области ее интересов, значит не может быть предметом для научной фантастики. По сути интересными областями исследования научной фантастики являются передовые вопросы естествознания и этика науки (это точно не митихлорианы и не Сила и скорее всего даже не инопланетянские цивилизации в том виде, как они представлены в фантастических романах середины — конца 20 века), а учитывая то, каков сейчас уровень научных достижений, можно предположить круг людей, которые разбираются в этом на таком уровне, чтобы писать и читать чистую НФ. Вот поэтому чистая НФ — жанр очень узкий, сложный для автора и маловостребованный среди читателей (что бы они там о себе не думали))).

Кстати, фэнтези вполне может обходиться без магии и включать в себя немалый элемент материализма и научной фантастики и от этого никак не страдать жанровой неканоничностью.