「図書館で借りたらタダ読みになってしまう」という心配はとても誠実だと思うけど、その一方で、「あんまり売れないけれど価値のある本(全集とか)を各地の図書館が積極的に購入してくれる」という側面もあり、読書意識を高める(読書する人を増やす)という後押し効果もあり、図書館のおかげで出版業界全体にお金が回っている向きもあるんじゃないかなあと思います。図書館が出版市場で果たしている役割を分析した研究とかもあるかも。
もちろん、図書館の社会的役割は、「情報アクセスのハードルを下げる」「重要な資料をアーカイヴする」「市民が自発的な勉強ができる場を提供する」など、いろいろありますし、積極的に使っていいんじゃないかなあ。