разделить строку на части

Можно использовать регулярные выражения:

var input =  "\"первый\", \"второй\", \"123,67\"";
var output = new List<string>();
var csvSplit = new Regex("((?<=\")[^\"]*(?=\"(,|$)+)|(?<=,|^)[^,\"]*(?=,|$))", RegexOptions.Compiled);
foreach (Match match in csvSplit.Matches(input)) 
    output.Add(match.Value.TrimStart(','));
foreach (var i in output)
    Console.WriteLine(i);

Результат:

первый 
второй 
123,67

Или как советуют использовать csv парсер, например CSVHelper

Если формат стандартизирован, то можно сделать Split не по символу, а по строке "," - т.к. она и будет разделять элементы. Сперва удалив первую и последнюю кавычку - т.к. они не будут убраны Split'ом

"\"первый\",\"второй\",\"123,67\"".Trim('"').Split(new [] { "\",\"" }, StringSplitOptions.None)