Füge in deine Stile-CSS folgenden Code hinzu
#tplFaqList .dialogTitlebar, .tabularBoxTitle > header {
background-color: #232323;
box-shadow: 0px -1px 0px #000 inset, 0px -3px 0px #C92E30 inset, 0px -4px 0px #FC4D4B inset, 0px 1px 0px #000 inset, 0px 2px 0px rgba(255, 255, 255, 0.15) inset;
}Da ich nicht weiss welche FAQ-Erweiterung du nutzt kann das Template #tplFaqList abweichen!
Welche Erweiterung würdest du empfehlen?
Nun da gibt es nicht all zu viele von.
FAQ - Häufig gestellte Fragen Woltlab
FAQ - Häufig gestellte Fragen Web-Produktion
oder
FAQ-System (Häufig gestellte Fragen) Woltlab
FAQ System Kittblog
Die kostenlosen kann man hier ausschliessen da die nicht mit Spoilern arbeiten, zumindest wüsste ich jetzt keins (bevor hier jemand wieder... ) 
Schaue dir beide FAQ-Plugins genauer an, damit du selber entscheiden kannst, welches für dich das bessere ist. 
Empfehlungen zu geben bei ähnlichen Plugins macht kein Sinn (und ist werbeschädigend), da ich deine Bedürfnisse nicht kenne.
edit:
habe doch noch eine kostenlose entdeckt die mit Spoiler arbeitet:
FAQ (1.0.1 pl 1) WBB-Basteleien II