Edit: Ich habe hier gerade glaube ich nur seeehr viel Quatsch geschrieben.
Werde mich morgen noch mal ein wenig ausführlicher mit dem Thema beschäftigen, es verwirrt mich gerade irgendwie mehr als sonst was.. 
Besonders weil zwar alle von xHTML5 schreiben, aber niemand einen Doctype dazu geben kann, nur heißt es das es mit einem xml-Header gesendet werden müsste..
Wer trotzdem meinen Ursprünglichen Post lesen mag, habe ihn nicht entfernt nur werde hierzu nichts mehr sagen.
Oke.. das hatte ich vorher noch nie so gehört
Daher habe ich mich nun ein wenig eingelesen und stelle dann mal kurz das von mir verstandene hier zusammen:
HTML5 ist die Schreibweise die für den Browser verwendet wird um Webseiten darzustellen, es stellt vordefinierte Elemente, Eigenschaften, Regeln usw. zur Verfügung und basiert auf der XML / xHTML Schreibweise.
xHTML5 wiederum ist nicht für Webseiten sondern nur zum Auszeichnen von Daten da. Es ist an für sich reines XML welches nur den "neuen Regeln" unterworfen ist.
Daher kannst du / Solltest du die xHTML5 Schreibweise nicht verwenden. XML wird nämlich zum Auszeichnen von Daten verwendet (eigentlich genau wie HTML), nur wird meistens aus XML-Daten diese Daten später herausgefiltert. Bevor es bis "vor kurzem" sogenannte JSON-Objekte in JavaScript gab, wurde z.B. bei einem Ajax-basierten nachladen von Daten vom Server, diese Daten in XML-Format übergeben.
Zurück zu deiner Ursprungsfrage: Was passiert, wenn ich den xHTML5-Doctype verwende, aber HTML5 schreibe?
Mit großer Wahrscheinlichkeit wird dir der Browser Fehler ausgeben, da der XML-Parser weitaus strenger als der Webparser ist.
So darf man z.B. nicht ein Kaufmännisches und-Zeichen schreiben, sondern es muss in der XML-Schreibweise (&) geschrieben werden, Kommentare dürfen keine Bindestriche enthalten und noch ganz vieles anderes Fießes 
Wie sieht ein xHTML5 und ein HTML5 Doctype aus und welcher Mime-Type muss vom Server gesendet werden?
HTML5:
Doctype: <!DOCTYPE html>
Mime-Type: text/html
xHTML5:
Doctype: <?xml version="5.0" encoding="UTF-8" ?> (Gehe ich wenn es den xml-Mime benötigt mal von aus^^)
Mime-Type: application/xml oder application/xhtml+xml
Hoffe habe nichts falsch verstanden und alles richtig (und vor allem Verständlich) wiedergegeben^^
Bei Fragen melde dich :wink:
Gruß
Dustin, alias Sarkkan