Как в DllImport указать соглашение __vectorcall?

.NET этого не умеет.

Но можно создать C++ функцию-враппер, а потом вызывать ее из c# метода. То есть будет принмать аргументы обычным способом (cdecl), а затем перенаправляет их в с++ unmanaged function работающую с __vectorcall.

Костыль, но должен сработать.

Так же стоит учитывать что __vectorcall делается только в x86 платформе.

Ответ основан на :

https://stackoverflow.com/a/39716118/4423545

https://stackoverflow.com/a/34832883/4423545