Excel weiß nichts mit Komma-Separierung anzufangen, solange man das nicht explizit sagt.
Unter dem Ribbon Daten links den Eintrag Aus Text wählen. Dann die Datei suchen/öffnen; Ursprünglicher Datentyp: Getrennt; evtl. Codierung anpassen; Weiter klicken. Im nächsten Fenster das Trennzeichen wählen, in Deinem Fall Komma und in der Vorschau siehst Du dann unten schon, was passiert.
Fertig stellen klicken und gut is.
Wenn Du auf dem Rechner, auf dem Du Excel ausführst Verbindung zum DB-Server hast, kannst Du auch über Daten -> Neue Abfrage die Daten direkt einlesen.
Dort hast Du sonst auch die Wahl, eine CSV direkt abzufragen, das hat den Vorteil, dass Du das nur einmal einstellen musst und die Datei beim Öffnen immer aktuell ist. Dann bräuchtest Du auch keinen Zugriff auf den DB-Server.