W 1101 roku poślubił Ormiankę Morfię, córkę Gabriela, będącego władcą Meliteny, niezależnego państwa armeńskiego sąsiadującego z Hrabstwem Edessy. Żyjąc w dobrych relacjach z ormiańskimi poddanymi, rozpoczął długą edessańską tradycję polegającą na obsadzaniu Ormianami większości ważnych stanowisk w państwie, a także masowym wcielaniu ich do wojska, co praktykowali również jego następcy. Choć faworyzował Kościół katolicki, zdołał zyskać poparcie Apostolskiego Kościoła Ormiańskiego, którego członkami były wszystkie ważne osobistości ormiańskie. Okazywał też życzliwość jakobitom z Syryjskiego Kościoła OrtodoksyjnegoWilhelm z Tyru, X, 24, s. 437-438; Mateusz z Edessy, CCXXV, s. 296..
Dwoma najważniejszymi wasalami hrabiego Edessy byli panowie Turbesselu i Sarudżu, dysponujący znacznymi siłami, których Baldwin traktował niemalże jako równoprawnych sojuszników.
Poważnym problemem był dla Baldwina ciągły brak środków finansowych, a w przeciwieństwie do Antiochii Hrabstwo Edessy było państwem niezamożnym, nie czerpiącym wielkich dochodów z handlu. Znany jest przypadek, gdy w celu zdobycia pieniędzy Baldwin oszukał swego teścia, Gabriela z Meliteny.