Summer Pockets berlatar di sebuah pulau terpencil, pedesaan, dan damai di Laut Pedalaman Seto yang disebut Torishirojima, dengan populasi sekitar 2.000 orang. Sang protagonis, Hairi Takahara, tumbuh besar di lingkungan perkotaan, tetapi setelah sebuah kejadian yang tidak menyenangkan, ia menggunakan kematian neneknya baru-baru ini sebagai alasan untuk datang ke pulau itu untuk mengurus penjualan tanah miliknya. Sesampainya di sana, ia berkenalan dengan empat gadis, yang menjadi fokus cerita: Shiroha Naruse, yang lupa akan liburan musim panasnya; Ao Sorakado, yang mengejar legenda pulau itu; Kamome Kushima, seorang gadis kelas atas yang mencari kapal bajak laut; dan Tsumugi Wenders, seorang gadis yang lebih muda yang berusaha menemukan jati dirinya.