Как изменить положение радиопереключателя в меню?

Можно попробовать кастомизировать следующим образом:

<?xml version="1.0" encoding="utf-8"?>
<menu xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:app="http://schemas.android.com/apk/res-auto">
<item
    android:id="@+id/action_settings"
    android:orderInCategory="100"
    android:title="@string/action_settings"
    app:showAsAction="never" />
<group android:checkableBehavior="single">
    <item
        android:id="@+id/action_tiles"
        android:orderInCategory="100"
        android:title="@string/action_tiles"
        app:showAsAction="never"
        app:actionViewClass="my.package.MyCheckBox" <!-- внимание сюда -->
         />
    <item
        android:id="@+id/action_list"
        android:orderInCategory="100"
        android:title="@string/action_list"
        app:showAsAction="never" 
        app:actionViewClass="my.package.MyCheckBox"  <!-- внимание сюда -->
     />
</group>
</menu>

И написать свой класс my.package.MyCheckBox - очевидно он должен наследовать от CheckBox

Но предупрежу, что это путь героя, устланный тучей плохо документированных подробностей.

Так что удачного кодинга.

Update

Есть похоже способ попроще, применить:

app:actionLayout="@layout/my_check_layout"

и кастомизировать свой чекбокс на уровне xml