Pequeños ficheros EDMX.

El DataContext representa una unidad de trabajo, no toda la base de datos.

El tamaño del esquema .xml es proporcional al número de tablas de la base de datos desde el que se genera, y como el tamaño del archivo aumenta, también aumentará el tiempo que tarda en crear el modelo en memoria para este metadata. Además el diseñador del Visual Studio también comienza a navegar en la peor eficiencia cuando el número de entidades es muy alta.
Si tienes un modelo muy interconectado puedes tener problemas de rendimiento, y hay que pensar en la posibilidad de dividirlo en varios archivos edmx, cuando tienes del orden de 100 entidades.

La desventaja de tener varios pequeños modelos de datos es que tendrás que mantener varios .edmx sincronizados cuando haces cambios en la base de datos.