Voyons, après cette évaluation détaillée ci-dessus des logiciels Interwoven TeamSite Templating 5.5.2 SP2, Microsoft SharePoint Portal Server 2001 et SPIP 1.5.2, un tableau synthétique comparant leurs performances en reprenant la note attribuée pour chaque critère.
| Critère d’évaluation | Interwoven | Microsoft SPPS | SPIP |
| Installation | 3,25 | 3,63 | 6,63 |
| Serveur | 4 | 4 | 4 |
| client | 3 | 4 | 4 |
| Jeu d exemple et tutoriaux | 3 | 3 | 3 |
| Manuels utilisateur | 3 | 3,25 | 3,25 |
| Paramétrage | 3,00 | 2,44 | 2,33 |
| utilisateurs, rôle et groupe de travail | 2 | 4 | 2,5 |
| workflows | 3 | 3 | 2 |
| type de documents | 3 | 1 | 2 |
| Méta données | 3 | 3 | 2 |
| édition XML | 3 | 0 | 3 |
| édition avec plugin | 3 | 4 | 0 |
| transformation pour la publication | 4 | 0 | 3 |
| Développement et customisation | 3 | 4 | 3 |
| Intégration | 3 | 3 | 3,25 |
| Utilisation | 3,00 | 3,40 | 2,35 |
| administration | 1 | 3 | 3,25 |
| récupération de documents | 4 | 3 | 2 |
| création de document | 4 | 4 | 3 |
| Mise a jour de document | 3 | 4 | 2 |
| Édition méta données | 3 | 3 | 2 |
| Publication | 3 | 3 | 3 |
| Workflow | 4 | 3 | 2 |
| Versioning | 4 | 3 | 0 |
| recherche de document | 2 | 4 | 3 |
| Interface graphque | 2 | 4 | 3 |
| Intégration | 2,25 | 2,25 | 1,50 |
| Intégration des documents | 2 | 1 | 0 |
| Utilisation des composants documentaires stockés | 2 | 2 | 2 |
| Migration vers l application | 3 | 3 | 2 |
| migration depuis l application | 2 | 3 | 2 |
| Appréciation globale | 3 | 3 | 3,5 |
| Moyenne générale du produit | 2,88 | 2,93 | 2,45 |
Rappelons tout d’abord que la notation a été définie au niveau de la section 2.1.2 page 80. Globalement, une note inférieure à trois signifie que la fonctionnalité attendue n’est pas ou peu développée et que si ce n’est pas le cas, elle n’est pas du niveau attendu par une organisation professionnelle, notamment en terme de productivité, d’ergonomie ou de qualité de l’interface graphique.
Une note de trois signifie que la fonctionnalité est présente et a permis de mettre en oeuvre les exigences définies au niveau du jeu d’essai. Cependant, cette mise en oeuvre n’a pas été aisée et a demandé un travail important, le paramétrage du logiciel pour la fonctionnalité et sa maintenance sont lourds ou encore il a fallu détourner les concepts d’origine. Autrement dit, la mise en oeuvre demande un travail de développement et de customisation non négligeable.
Finalement une note de 4 signifie que la fonctionnalité est complète, facile à mettre en oeuvre et / ou à maintenir. La note de 5 n’a jamais été attribuée !
Comme mentionné dans la section 2.1.2, cette note est un indicateur de la couverture fonctionnelle des besoins. Il s’agit d’une notation de 0 à 5, et si on a la ramène à 100, on obtient un pourcentage de couverture fonctionnelle. Les notes moyennes vont alors d’une couverture de 49 % pour SPIP 1.5.2 a une couverture de 59 % pour MS SharePoint Portal Server 2001. Cela est cohérent avec la première analyse qui consiste à classifier les logiciels de gestion de contenu par domaine d’application (cf. section 1.2.3 et Tableau 3 page 78). Toutefois, le logiciel de la société éditrice Interwoven, qui part au départ avec une couverture fonctionnelle plus grande théoriquement est pénalisé finalement, suite à l’évaluation détaillée (couverture de 58 %), par rapport à MS SPPS à cause d’une mise en oeuvre a minima, notamment du point de vue de l’interface graphique et de la stabilité, alors que les fonctionnalités offertes par SPPS sont robustes, fiables et intuitives. L’évaluation détaillée grâce à la mise en oeuvre d’un prototype prend alors tout son sens pour valider le choix définitif d’un logiciel dans le cas du logiciel d’Interwoven.
On s’aperçoit donc que les résultats de notre évaluation détaillée étaient prévisibles, sauf dans le cas du CMS d’Interwoven, puisque nous avons évalué ces logiciels sur la base d’un jeu d’essai conçu pour éprouver un CMS complet. Un « benchmark » fonctionnel aurait eu plus de sens si chaque logiciel avait été évalué et comparé avec d’autres faisant partie du même domaine d’application de la gestion de contenu sur la base d’un jeu d’essai spécifique à chaque domaine. Les logiciels évalués auraient alors bénéficiés d’une meilleure note, puisque centrée sur les fonctionnalités du domaine qu’il couvre. D’une certaine manière, nous pouvons dire que nous avons comparé des systèmes qui ne sont pas intégralement comparables.
Toutefois, l’intérêt de notre démarche a été de mettre en évidence les mécanismes communs à l’ensemble des systèmes de gestion de contenu, que cela soit un logiciel de GED ou un logiciel de Portail d’Information d’Entreprise (EIP). Ces mécanismes doivent tous être mis en oeuvre dans le cadre d’une gestion de contenu unifiée. C’était aussi un des buts de l’étude, qui était d’appréhender
les différentes facettes de la gestion de contenu et de les maîtriser. De même, cela a permis de voir quelle peut être la richesse offerte par chaque fonctionnalité en terme de prise en compte des différentes situations auxquelles une organisation peut être confrontée. En effet, lorsqu’une fonctionnalité est proposée par au moins deux des logiciels étudiés, nous avons largement pu apprécier le degré d’implémentation de la fonctionnalité, à la fois au niveau du paramétrage et celui de l’utilisation. Les sous-domaines des logiciels finalement les mieux éprouvés ont été ceux qui concernent l’authoring, le groupware (workflow), la gestion des méta données et dans une moindre mesure la transformation et la publication.
Enfin d’autres sous-domaines mériteraient une évaluation du même type à part entière. Il s’agit particulièrement de l’édition (intégrée au CMS) de documents et la publication.
