Вызвать Lua функцию из таблицы Lua через lua C Api

У вас в вопросе, код на Lua нерабочий. Должно быть вот так:

-- объявление функции
main_ds.teg.Size = function(self) 
    return 5 
end
-- вызов
print(main_ds.teg:Size()) -- что на самом деле: main_ds.teg.Size(teg)

После этого исправления ваш Си-код должен начать работать и в результате на стеке будет "5".

Если хотите использовать self внутри функции на Lua (обычно это надо), то перед вызовом функции на стек нужно положить таблицу teg:

lua_State* L = luaL_newstate();
luaL_openlibs(L);
int err = luaL_dofile(L, "test.lua");
if (err) {
   printf("Cannot dofile: %s", lua_tostring(L, -1));
   lua_pop(L, 1);
   return 1;
}    
lua_getglobal(L, "main_ds");        
lua_getfield(L, -1, "teg");
lua_getfield(L, -1, "Size");
lua_pushvalue(L, -2); // параметр "self" = таблица "teg"
if(lua_pcall(L, 1, 1, 0) != 0) {
    printf("Func call failed: %s", lua_tostring(L, -1));
    lua_pop(L, 1);
    return 1;
}    
int ret = lua_tonumber(L, -1);
lua_pop(L, 3);
printf("ret = %d\n", ret);

Как выяснилось из комментариев, код на Lua написан топикстартером от балды и на самом деле таблицы создаются в Си. И, очевидно, создаются они неправильно, поэтому вот вдогонку пример, как можно создать глобальную таблицу, внутри неё вложенную таблицу, внутри которой есть функция:

lua_createtable(L,0,0); // main_ds
lua_createtable(L,0,0); // teg
lua_pushcfunction(L, size_func);
lua_setfield(L, -2, "Size"); // set teg.Size
lua_setfield(L, -2, "teg"); // set main_ds.teg
lua_setglobal(L, "main_ds");

Вызываемая функция:

int size_func(lua_State *L)
{
    lua_pushnumber(L, 5);
    return 1;
}