XAMPPに関する世界観です。Apacheも参照してください。
XAMPPは、WindowsにクロスプラットフォームなApache、MySQL、PHP、Perlをインストールしてくれるインストーラーと管理環境。
「Webプログラミングをやりたい」と思った時に、初心者はいきなりLinuxで自宅サーバーを立てて公開するのではなく、ローカルのWindows環境にまずはXAMPPをインストールして、自分のパソコンの環境で動くことを確認した後、テキストエディタ、Apache、MySQL、PHPの設定をして、「ローカルでWebアプリケーションが動く環境」を作りましょう。
特に、Webサーバーを自分で立てるのは、セキュリティの問題や犯罪に繋がる書き込みの削除など、たくさんの労力と手間が必要になるでしょう。まずは自分のローカル環境で、PHPとMySQLが動く環境を作った上で、「公開するかどうか」はあとで考えましょう。そのまま、プログラミング能力をつけて、他の言語に移行する可能性もあります。
それから、僕の勝手な意見ですが、Webサービスを開発するために自宅サーバーを立てるのは、多くの場合僕はおすすめしません。レンタルサーバーを借りた方が良いでしょう。レンタルサーバーは有料で、安くても月900円程度は払う必要がありますが、自分でサーバーを管理するコストや規模が大きくなった時のことを考えると、自宅サーバーをLinux+Apacheで立てるのは現実的ではないと思います。あるいは、Amazon AWSのようなパブリッククラウドを利用するのも良いでしょう。クラウドやクラウド・レンタルサーバーを参照してください。
後日注記：実際のところ、自宅サーバを立てるのは悪くない選択肢である。なぜなら、さくらのVPNなどをもし購入したとしても、root権限を得てインストールした仮想サーバのOSシステムは自分で管理しなければならない。最初から自宅サーバに頼っても僕は良いと思う。クラウドでも同様。
なお、Javaで開発環境を構築するEclipseの日本語版であるPleiades All in Oneは、Full Editionをインストールすることで、XAMPP環境がついてきます。XAMPPだけではなく、Tomcat（Javaサーブレットコンテナエンジン）やMinGW（GNUのC/C++コンパイラGCCのWindows版）もついてきます。これを導入することも良いでしょう。
以下の書籍が参考になります。