Algemeen bekend: "meer disken is meer IOPS"
Voorzieningenrechter Rechtbank 's-Gravenhage 18 februari 2011 (SLTN-Ministerie van Veiligheid en Justitie), LJN: BP5747. Aanbesteding storage. SLTN biedt oplossing aan waarbij gebruik wordt gemaakt van bepaalde sizing tools. Ministerie mocht betrouwbaarheid betwijfelen, bewijslast bij SLTN. Aanbieding SLTN terecht gepasseerd. Met dank aan Polo van der Putt, Vondst Advocaten.
Uit het vonnis blijkt onder meer het volgende. Het ministerie heeft aan haar mantelpartners gevraagd om een offerte uit te brengen voor de storage omgeving ten behoeve van het project Landelijke Werkplek Standaard Dienst Justitiële Inrichtingen. Een storage omgeving bestaat uit verschillende opslagdisks (ook wel disken genoemd). Door de data te verdelen over meerdere disks wordt de snelheid voor de gebruikers om de data op te vragen en om deze op te slaan ('read' en 'write') vergroot, omdat de belasting over verschillende disks wordt verdeeld. Deze (read/write-) snelheid wordt uitgedrukt in "Input/Output Operations Per Second" (hierna: IOPS) De hoeveelheid IOPS bepaalt het prestatievermogen (de performance) van een storagesysteem.
SLTN doet een innovatieve oplossing waarbij door het gebruik van een sizing tool het aantal disks kan worden beperkt, maar volgens haar toch een hoge performance wordt gehaald. Het ministerie is niet overtuigd. Volgens de rechter geldt in zijn algemeenheid, zie r.o.,1.11, "meer disken is meer IOPS" [uit r.o. 3.5 volgt overigens dat SLTN dit heeft gesteld]. Het ministerie is van mening dat de benodigde performance niet geleverd gaat worden voor beschreven omgeving(en) door het lage aantal aangeboden disken. Daarnaast moeten aangeboden configuraties rekening houden met de functionele eis dat uitval van één controller (die de disks aansturen) niet leidt tot verstoring voor de cliëntsystemen. Het ministerie is van mening dat hier onvoldoende rekening mee is gehouden in de aanbieding.
De voorzieningenrechter overweegt:
"3.4 [...] Gelet op dit verweer van gedaagde ligt het op de weg van eiseres om voldoende aannemelijk te maken dat zij met behulp van de Netapp sizer wel zou voldoen aan de gestelde eisen.
3.5. Ter zitting heeft eiseres gesteld dat de hoeveelheid disken voor de performance van de aangeboden controller van geen enkele betekenis is omdat de verwerkingscapaciteit van de controller niet afhankelijk is van de hoeveelheid daarachter aangesloten disken. Daarbij heeft zij de controller vergeleken met een trechter die ervoor zorgt dat de daar achter aangesloten disken op basis van de NetApp sizer als het ware een multipliereffect bewerkstelligt waardoor de disks substantieel meer performance hebben dan zonder de NetApp sizer. Eiseres heeft echter daarmee niet de klacht van gedaagde kunnen wegnemen dat de NetApp sizer slechts een hulpmiddel is waarvan de betrouwbaarheid niet vast staat. Nu eiseres kennelijk de enige inschrijver is die de NetApp sizer een prominente, voor de performance doorslaggevende, rol in haar aanbieding toedicht wordt tot uitgangspunt genomen dat het hier in ieder geval niet gaat om een algemeen gangbare oplossing. Daarbij wordt mede betrokken dat ook eiseres zelf in haar offerte bij de presentatie van haar opties op pagina 11 vermeldt: "(...) meer disken is immers meer IOPS". Onder deze omstandigheden dient eiseres de werking en betrouwbaarheid van de NetApp sizer nader inzichtelijk te maken. Daarin is zij niet geslaagd. Geoordeeld wordt in dit verband dat eiseres over de door haar toegepaste ongebruikelijke oplossing geen gegevens op het punt van de betrouwbare werking heeft overgelegd. Nu eiseres bovendien noch in haar offerte en toelichting noch ter zitting onderbouwde berekeningen heeft gepresenteerd die overtuigend die betrouwbare werking aannemelijk maken, kan vooralsnog niet worden geconcludeerd dat eiseres heeft voldaan aan de eisen voor de benodigde performance. Ook heeft zij geen refertewerk in beeld gebracht waaruit die betrouwbaarheid zou kunnen blijken. De klacht van eiseres dat de RFP geen refertevereiste bevat, kan haar niet baten nu het op de weg van eiseres ligt om in geval van een ongebruikelijke oplossing de betrouwbaarheid van die oplossing te onderbouwen. De omstandigheid dat de winnende deelnemer dezelfde controller als eiseres heeft aangeboden legt, gelet op het voorgaande, onvoldoende gewicht in de schaal."
Uit dit vonnis lijken in ieder geval twee lessen te kunnen worden getrokken door aanbieders die een innovatieve oplossing willen aanbieden:
(1) Als je van mening bent dat een marktstandaard niet langer meer de standaard hoeft te zijn, maak in je aanbieding dan duidelijk dat de standaard achterhaald is. Dus in plaats van te stellen "meer disken is immers meer IOPS" zou je dan kunnen zeggen: "Vroeger, toen de sizing technieken niet goed ontwikkeld waren, ging men er nog van uit dat meer disken meer IOPS opleveren. Een standpunt dat inmiddels is achterhaald", o.i.d.
(2) Als je een innovatieve techniek aanbiedt, is het verstandig extra aandacht te geven aan de onderbouwing van de betrouwbaarheid, ook al wordt een uitgebreide onderbouwing niet gevraagd.
