at the best of times = ช่วงเวลาที่ยากลำบาก

used for saying that something is fairly bad, difficult, dangerous etc even in normal circumstances, but it is often worse than this

ใช้เพื่อบอกกล่าวว่าบางอย่างค่อนข้างเลวร้าย ยุ่งยาก อันตราย ฯลฯ ถึงแม้ว่าจะอยู่สถานการณ์ปกติก็ตาม ซึ่งบ่อยครั้งที่บางอย่างที่กล่าวถึงก็มักจะเลวร้ายมากกว่านั้น

Ref: http://www.macmillandictionary.com/dictionary/british/at-the-best-of-times