Se vai ficar um bom tempo sim. 

Pense que está comprando conforto pro seu lar. O imóvel é de propriedade de terceiro, mas o lar é seu.

São muitas variáveis para se avaliar. Sugerir sem informações neste caso é arriscado. Vou sugerir uma lógica: Pegue o valor que irá gastar na melhoria e divida pelo tempo médio em meses que deseja continuar no imóvel e que tem aagarantido em contrato (lembre-se que o proprietário pode te pedir para sair após o contrato expirado e você não consiga ficar o tempo todo que acha que vai ficar).

Exemplo: 12k o custo da melhoria e você tem aagarantido em contrato 24 meses de permanência no imóvel. R$12 mil/24 meses = R$500

Você pagaria R$500 a mais de aluguel se este imóvel tivesse esta melhoria? Se ficou caro, tente amarrar uma permanência maior. Se ficar um valor barato e você achar que vale a pena para você faça a fundo perdido. Assim terá #pas

Eu não faria. Moro até hoje em imóvel alugado e muitas vezes proprietários são retardados mesmo.

Um amigo meu, alugou um apartamento de um colega de trabalho num "contrato de gaveta", sem imobiliária.

Resolveu que "queria morar bem" e acabou gastando quase 60 mil reais de reformas no apartamento.
Tinha combinado por boca de desconto do valor. Problema que feita a reforma, o proprietário aceitou reembolsar a reforma com desconto de 500 reais/mês no aluguel. Resumo da ópera: ele tem que ficar 10 anos no imóvel para receber o dinheiro de volta, sem reajuste algum.

Também me lembrei de uma casa que eu tinha alugado e na hora da vistoria, o proprietário dava pulo de 1 metro de altura de raiva porque tinha quebrado um pegador do armário (nem tinha me dado conta). Ele ligou na imobiliária falando que não aceitava a vistoria de entrega, que eu deveria resolver isso ou pagar mais 1 mês de aluguel.
Detalhe que era uma casa imensa, numa cidade do interior (acredito que era um dos maiores alugueis da cidade). No fim, liguei para a esposa dele e falei "olha, eu paguei 4 anos seguidos de aluguel, sem atrasar e fiz diversas melhorias no imóvel como colocar box de vidro nos banheiros. Tem certeza que vai brigar por causa de um pegador? Porque eu posso até perder meu tempo de ir trocar, mas eu faço questão de tirar tudo que eu fiz no imóvel só para não deixar pra vocês". Acabou prevalecendo minha negociação, logicamente.

Legal que eu passo lá até hoje, há mais de 2 anos, e não conseguiu alugar mais

Se o proprietário não está disposto a aceitar que isso vai valorizar o apartamento e descontar os custos do aluguel, NÃO vale a pena. A menos que tu esteja morando muito mal, mas aí o problema é outro, né? 

Vc não pode se iludir de que vai ficar muito tempo. Pq não tem aagarantia de nada.
O contrato de aluguel após o prazo previsto no contrato, pode ser rescindido a qq tempo.
Fazendo alguma melhoria relevante, tenha em mente q estará doando para o proprietário.
Você vai  gastar seu tempo e dinheiro, ter dor de cabeça com obra, e ainda ter que sair do imóvel em pouco tempo.
é um risco que vale a pena??

Talvez não seria mais simples trocar de imóvel? Evitaria gastos não previstos, sem contar que normalmente reformas dão uma trabalheira enorme... 

Eu moro em imovel alugado e sempre faço melhorias, pois é meu lar. #pas. Uma coisa é vc gastar 5 mil em melhorias, outra coisa é 50 mil. Afinal, se vc tivesse pagando um imóvel financiado, estaria pagando bem mais juros, ou seja, mesmo pagando um pouco a mais, vc ta no lucro. Nao da pra ganhar em todas!!

Eu sempre morei em imóveis alugados. E sempre fiz pequenas melhorias.

Mas nunca gastaria 60 mil como citado acima.
Nem trocaria piso, etc...

Já fiz um forno de pizza (desses pre moldados). Gastei 800 reais.

Já fiz aquecimento solar para a piscina - esse eu dividi com o proprietário em 3 meses.

Para o proprietário vale a pena que você invista em melhorias no imóvel, assumindo os custos. Para você, provavelmente não. ((: 

Eu negociei de não reajustar o aluguel por alguns anos, até compensar o custo com as melhorias permanentes que fiz no imóvel. 

Para o proprietário pode ser interessante, pois não precisa reduzir o valor da renda que já recebe e vai receber um imóvel com benfeitorias que agregam valor.

melhorias pequenas tanto faz

melhorias grandes normalmente nao vale a pena financeiramente para vc mas se ta afim de fazer ai eh contigo

Não gasto com melhorias em imóvel dos outros. Se ele não quiser descontar do aluguel, melhor escolher outro lugar melhor e cair fora quando der.

Muito bacana as respostas. Obrigado pessoal. Acho que a conclusão seria a seguinte, se for um investimento muito alto, melhor pensar em buscar outro imóvel, mas se for algo que não cause muito impacto e vá trazer mais pas, dá pra pensar em fazer. Negociações como as sugeridas por @codigodavinci @AleAntonio são interessantes. Valeu