Bergvärme fungerar inte, som många kanske tror, genom att man utnyttjar den värme som finns i jordens inre. För att nå så långt ner i Sverige skulle borrhållen behöva vara betydligt djupare än det är. Detta kan vi också enkelt se genom att vi inte har några som helst aktiva vulkaner inom vårt närområde. Bergvärme utnyttjar i stället grundvattnet för att ordna uppvärmningen. Detta genom att grundvattnet håller en temperatur på mellan 6 och 8 grader året runt, vilket bland annat innebär att energiutvinningen för bergvärme är konstant året runt. Grundvattnet har i sin tur värmts upp av solen, och bergvärme kan därför, om man vill hårdra det hela, sägas vara en form av solkraft.
Rent praktiskt fungerar sedan bergvärme så att man borrar ett hål, som vanligtvis är mellan 50 och 200 meter djupt, beroende på lokala förhållanden. Energi utvinns sedan genom att pumpar på marknivå cirkulerar en vätska, bestående av vatten och antifrysvätska, i hålet. På detta sätt hämtas energi ur grundvattnet, genom att temperaturen på detta sänks samtidigt som den höjs för den cirkulerande vätskan. På så sätt vinner man energi ur grundvattnet, utan att detta förbrukas och påverkas negativt. Bergvärme är därför en mycket miljövänlig uppvärmningsform. Även borrhålen lämnar vanligtvis inga bestående men efter sig för moder jord. Vattnet som på detta sätt cirkulerar i borrhålet stiger på detta vis upp till runt 50 grader, och kan på så sätt användas i exempelvis element för att värma upp huset. Uppvärmningen är inte omedelbar, utan tar viss tid att uppnå, vilket dock inte har så stor betydelse i praktiken.
Borrhålets längd, och den sträcka vattnet cirkulerar, är den viktigaste faktorn vad gäller hur mycket energi som kan utvinnas genom bergvärme. Ju längre sträcka vattnet transporteras, desto mer värms det upp av grundvattnet, helt enkelt. Det innebär bland annat att det är bättre att borra exempelvis ett hål som är 200 meter djupt, än två på 100 meter, något som kan vara värt att hålla i åtanke om man funderar på att skaffa bergvärme. Dock så bestäms borrhålens möjliga djup, och det djup man behöver för att värma sin bostad, av en mängd olika yttre faktorer, som till exempel tillgången på grundvatten i området.
Detta är grunden för hur bergvärme fungerar, och kan sammanfattas med att kallt vatten cirkulerar runt, och värms av varmare grundvatten. Då det är temperaturskillnaden som alstrar energi, så spelar egentligen inte grundvattnets temperatur så stor roll. Det är i stället differensen mellan temperaturen på grundvattnet och den vätska som cirkulerar som avgör hur mycket värme man får ut.