Në vitin 1942 Visarion Xhuvani u dorëzua në Mitropolit i Beratit, Myzeqesë, Vlorës dhe Kaninës. Në këtë detyrë qëndroi deri në vitin 1947 kur e arrestuan dhe e burgosën. Ndaj Mitropolitit të Beratit, Vlorës dhe Myzeqesë, Imzot Visarionit, u inskenuan akuza qesharake dhe të pabaza. Akuzat ndaj Mitropolitit Visarion qenë nga më të ndryshmet, të artikuluara nga njerëzit e sigurimit të shtetit në bashkëpunim me ata të kishës. Ata e akuzonin sikur kishte punuar për rrëzimin e pushtetit popullor, duke ngjallur pakënaqësi tek besimtarët ortodoksë, sikur kishte dekospiruar letrat e kryesisë së kishës, abuzime në detyrë gjatë kohës që ishte Mitropolit i Beratit etj. Kujdestarët e kishës së Libofshës me anën e një deklarate të nënshkruar më datën 8 mars 1945 e akuzonin Visarionin se u kishte marrë me imponim një teneqe me djathë, dy karroqe fasule dhe 80 franga. Kujdestarët e kishës së fshatit Kadipashaj me anën e një deklarate të nënshkruar më datën 24 mars 1945 e akuzonin Visarionin se u kishte marrë 1930 franga ari. Prifti i Libofshës atë Joan Kule më datën 4 prill 1945 deklaronte se Visarioni i kishte marrë 400 franga ari për ta hirotonisur në gradën priftërore. Epitropët e kishës së lagjes Goricë të Beratit më 18 prill 1945 e akuzonin se u kishte marë 380 franga ari pa u lëshuar dëftesë, etj. Në dy letrat e fundit kërkohet largimi i Visarion Xhuvanit nga dioqeza e Beratit. Janë gjithsej shtatë letra të tilla pak a shumë të ngjashme me njera-tjetrën. Këto letra i janë dërguar Kryesisë së Kishës dhe autoriteteve vendore.

Më 19 qershor 1945 Kryeepiskop Kisi i dërgon Visarionit një shkresë me Nr. Prot. 250 me anën e së cilës i kërkon të falte priftërinjtë që kishte pezulluar. Ndër të tjera në letër thuhet se kujdestarët e kishave të Myzeqesë i janë ankuar se i ka detyruar që të paguajnin shuma kolosale dhe ata që nuk paguanin qenë pezulluar nga detyra.

Për të shqyrtuar këto letra më 6 korrik 1945 u bë mbledhja e parë e Sinodit ku u paraqitën akuzat, ndërsa më 10 korrik 1945 u bë mbledhja e dytë, në të cilën u miratua zyrtarisht përmbajtja e dokumentit akuzues. Më 11 korrik 1945 u mblodh përsëri Sinodi i Shenjtë i KOASH-it, ku pasi u lexuan akuzat ndaj Mitropolitit të Beratit, Imzot Visarionit u vendos që këto akuza ti komunikoheshin atij.

Visarioni Xhuvani mori në dorëzim prej sekretarit të Kryesisë së Kishës Dhimitër Beduli shkresën Nr. 272/1 datë 10. VII. 1945 prej 4 faqesh, që përmbante akuzat ndaj tij. Të gjitha akuzat qenë trillime nga më të poshtrat dhe të qëllimshme, prandaj më 12 korrik 1945 Visarion Xhuvani për përgatitjen e apologjisë kërkoi: emrat e atyre që kanë nënshkruar shkresat dërguar Kryesisë së Kishës dhe Këshillit Antifashist Nacional-çlirimtar, kopjet e shkresave etj. Kërkesat e mësipërme të Visarionit nuk u përmbushën dhe çdo reagim i mëtejshëm ishte i kotë prandaj vendosi që të bënte një prokurë të posaçme, duke caktuar av. Vasil Dilo, Dr. Spiro Stringën, Vasil Xhajin dhe Menella Noçkën të bënin mbrojtjen e tij.

Se si është proceduar më vonë me akuzat ndaj Mitropolitit të Beratit, Vlorës dhe Myzeqesë, Imzot Visarionit ka mbetur mister, sepse mungojnë dokumentet arkivore në dosjen përkatëse. Gjithsesi, Imzot Visarioni vazhdoi të kryente me përkushtim detyrën e tij funksionale si Mitropolit i Beratit, Vlorës dhe Myzeqesë.

Reformën agrare që nisi të ndërmerrte regjimi komunist në Shqipëri, Visarioni e shihte me shqetësim të madh, sepse do të kishte pasoja të rënda ekonomike edhe për kishën. Për këtë çështje më 20 gusht të vitit 1946 Visarion Xhuvani iu drejtua Këshillit të Përhershëm Ekonomik të Kishës me një shkresë zyrtare, me anën e së cilës i raportonte problemin e shpronësimeve. Meqenëse problemi ishte i ngutshëm dhe shumë shqetësues, Visarion Xhuvani më 25 gusht të vitit 1946 e vijoi letërkëmbimin duke iu drejtuar në anën e një shkrese tjetër Këshillit Ekonomik të Përhershëm. Me porosi të Kryeepiskopit Kristofor Kisi, Këshilli i Përhershëm Ekonomik i Kishës ia dërgoi të dy letrat Ministrisë së Drejtësisë dhe operativët e degës së punëve të brendshme të Vlorës menjëherë e arrestuan.  Gjykata Ushtarake e Vlorës me anën e vendimit Nr. 512, datë 12 dhjetor 1946 e dënoi Visarion Xhuvanin me me 20 (njëzetë) vjet privim lirie, me punë të detyruar dhe me humbjen e të drejtave politike për pesë vjet.

Gjatë 15 vjetëve të dënimit në burgun e Burrelit, ndonëse në moshë të thyer, Mitropoliti Visarion qëndroi me burrëri. Shkrimtari Agim Musta në librin “Mandelat e Shqipërisë” ka shkruar për Visarion Xhuvanin: “Nuk kisha veçse dy javë që ndodhesha në burgun e Burrelit, kur një mbrëmje dallova në sfondin e korridorit një njeri me raso të zezë, fytyrë dhe flokë të bardhë si dëbora, një Abat Faria i gjallë, që ecte i kërrusur nga pesha e viteve dhe e vuajtjeve”. Gjatë kohës së qëndrimit në burg, besimtarët dhe të afërmit druheshin të shkonin për vizitë te Visarioni, por kishte edhe nga ata që duke marrë parasysh të gjitha pasojat venin dhe i shpinin ushqime, si për shembull Papa Kozmai i Bestrovës dhe besimtari Vangjel Manushi. Kur doli nga burgu më vitin 1962 Visarioni ishte në moshën 75-vjeçare. Njeriu që iu gjend në këto momente kritike ishte Atë Erazmi Jorgo, i cili u kujdes për të duke i dhënë veshjet e veta klerikale. Në vjeshtën e vitit 1962 Visarionin e çuan në Manastirin e Shën Gjonit pranë Elbasanit, ku kaloi vitet e fundit të jetës së tij, derisa ia dorëzoi shpirtin Perëndisë më 15 dhjetor të vitit 1965. Varri i tij gjendet në manastirin e Shën Gjon Vladimirit në Elbasan. Në pllakën përkujtimore është shkruar: Visarion Xhuvani. Kryeepiskop i Shqipërisë 1929-1937. Mitropolit i Beratit 1942-1945.

Fig.1 Mitropoliti i Beratit, Myzeqesë, Vlorës dhe Kaninës, Imzot Visarion Xhuvani, me besimtarët dhe klerikët, Berat, 1942.
Fig.2 Imzot Visarion Xhuvani, kryeson shërbesën e Ujit të Bekuar, Berat, 6 janar 1944.
Fig.3 Kujdestarët e kishave të Libofshës akuzojnë Visarionin
Fig.4 Kujdestarët e kishave të Libofshës akuzojnë Visarionin
Fig.5 Visarioni merr në dorëzim akuzat kundër tij
Fig.6 Sinodi i Shenjtë i komunikon akuzat Visarionit
Fig.7 Visarion Xhuvani në manastirin e Shijonit, Elbasan