00:00:07 The role of analysts and consultants in assessing software.
00:00:28 How software companies are currently evaluated.
00:01:56 Complexity of supply chains and issues with the questionnaire approach.
00:03:43 Detailed critique of the questionnaire approach and comparison to restaurant reviews.
00:07:10 More focused approach to software assessment.
00:08:02 Common error of companies focusing on specific solutions instead of identifying their real problem.
00:09:00 Role of software vendors and the necessity of a concise summary of their product’s vision and design principles.
00:11:19 The prevalence of inconsistent features in enterprise software products and their poor real-world performance.
00:12:00 The history and evolution of analyst companies is discussed.
00:14:43 The shift in analyst companies’ business model to a pay-to-play system due to the widespread availability of information on the web.
00:16:02 Shift in business model of analyst companies post year 2000.
00:16:49 Consequences of this shift for the perceived neutrality and credibility of these companies.
00:17:42 Personal experiences and observations of the impact of this shift on the industry.
00:19:46 Analysis of how analyst companies have transformed into marketing agencies.
00:21:59 Speculation on the future of analyst companies and the evolution of their business model.
00:24:41 The current state of the software business and its relation to the operations of analyst companies.
Resumen
En la entrevista, Kieran Chandler y Joannes Vermorel, fundador de Lokad, discuten las deficiencias de los métodos actuales de evaluación de software, particularmente en el ámbito de supply chain. Vermorel critica la práctica común de utilizar listas de verificación extensas para las evaluaciones, argumentando que simplifican en exceso características complejas y no capturan las sutilezas de las capacidades del software. Indica que estos cuestionarios crean una ilusión de racionalidad y precisión, pero a menudo pasan por alto las especificidades de cada función del software. Asimismo, critica el modelo pay-to-play adoptado por los analistas de mercado, argumentando que favorece a los proveedores que pueden permitirse pagar por una mejor exposición, en lugar de evaluar objetivamente la calidad del software. Vermorel aboga por un enfoque más completo y matizado para la evaluación de software.
Resumen Ampliado
En la entrevista, el presentador Kieran Chandler discute las complejidades de la evaluación de software, particularmente en el ámbito de supply chain optimization, con Joannes Vermorel, fundador de Lokad.
Chandler comienza cuestionando la confiabilidad de las evaluaciones de software realizadas por analistas y consultores. La discusión se motiva por los puntos de vista a menudo subjetivos de dichos individuos y busca arrojar luz sobre el proceso de evaluación. Vermorel, con experiencia en el área, comparte sus percepciones sobre los métodos actuales empleados para evaluar a las empresas de software.
Vermorel revela que en Lokad con frecuencia reciben solicitudes para participar en diversas encuestas, ya sea de prospectos o consultores. La mayoría de las veces, estas evaluaciones toman la forma de cuestionarios extensos, con cientos de casillas para marcar. Estos pueden ser entregados a través de spreadsheets con docenas de pestañas o encuestas en línea. Expresa su frustración ante esta práctica, argumentando que no es una forma efectiva de evaluar enterprise software, particularmente en áreas complejas como la gestión de supply chain.
Vermorel explica que la complejidad del mundo real, particularmente en supply chain, se refleja en el software diseñado para gestionarlo. Esta complejidad se representa a través de una multitud de características y capacidades, lo que a su vez conduce a cuestionarios extensos. Sin embargo, cree que estos son más una fuente de confusión que una herramienta para la evaluación.
Cuando Chandler indaga más sobre la fuente de esta confusión, Vermorel explica que la mayoría de estos cuestionarios están compuestos de preguntas cerradas, que según él capturan de manera inadecuada las sutilezas de las capacidades del software. Señala que muchas de estas preguntas de sí o no, como la compatibilidad con cierto idioma o el soporte para cierta función, son engañosamente simplistas. Por ejemplo, una pregunta sobre el soporte de Excel puede ser complicada, ya que la respuesta depende del nivel y tipo de soporte al que se hace referencia.
Vermorel enfatiza que estos cuestionarios crean una ilusión de precisión y racionalidad, mientras que no logran capturar los detalles intrincados de las capacidades del software. Utiliza el ejemplo de las exportaciones a Excel, explicando que aunque Lokad sí soporta esta función, existen matices específicos que no son abarcados por una simple pregunta de sí o no. Por ejemplo, Lokad puede no soportar ciertos macros u opciones debido a preocupaciones de seguridad. Sugiere que se podría escribir un capítulo entero de un libro sobre los matices de cada pregunta binaria, ilustrando la insuficiencia de tales cuestionarios.
Vermorel caracteriza el uso de listas de verificación extensas como una forma poco científica y perezosa de dar la ilusión de racionalidad. Ilustra esto comparándolo con elegir un restaurante basándose únicamente en preguntas de sí/no sobre el menú y las prácticas de limpieza, sin considerar la experiencia general o la calidad.
El uso de estos cuestionarios, argumenta Vermorel, es común porque son fácilmente escalables y pueden venderse como un producto, particularmente por consultores que asesoran a empresas en la elección de software. Sin embargo, critica este enfoque por su falta de matices, señalando que una gran parte de las preguntas a menudo no se relacionan directamente con el software o el problema en cuestión.
En lugar de depender de cuestionarios, Vermorel sugiere un examen más profundo del problema que necesita ser resuelto y de los fundamentos del producto que podría solucionarlo. Este examen idealmente debería caber en una sola página y describir el problema sin enfocarse ya en una solución en particular. Vermorel enfatiza que las empresas a menudo se equivocan al identificar sus necesidades; por ejemplo, podrían solicitar un software de forecast, pero la verdadera necesidad es mejorar supply chain performance.
Vermorel criticó además el sector del enterprise software, donde los productos a menudo acumulan una serie de características inconsistentes con el tiempo. Estos productos pueden ser buenos en marcar casillas, pero su desempeño en el mundo real es pobre debido a su falta de visión y consistencia.
La discusión luego se desplaza al origen y la popularidad de los cuestionarios con casillas de verificación. Vermorel sitúa su aparición a principios de los años 2000, un período en el que internet se volvió dominante, cambiando radicalmente el acceso a la información. Antes de internet, la información era escasa y las empresas dependían en gran medida de los analistas de mercado para identificar proveedores potenciales. Con la llegada de internet y motores de búsqueda como Google, las compañías podían encontrar fácilmente la información que necesitaban, lo cual, según Vermorel, debería haber dejado obsoletos a los analistas de mercado. Sin embargo, la práctica de utilizar cuestionarios ha persistido.
Vermorel describió cómo estas empresas solían vender informes a clientes que buscaban proveedores o tech vendors antes del año 2000. Sin embargo, la llegada de internet y la posterior facilidad para acceder a la información llevaron a una disminución significativa en la demanda de estos informes.
En respuesta a este cambio, las empresas analistas modificaron su modelo de negocio a un enfoque “pay-to-play”, donde los tech vendors pagan por aparecer de manera destacada en sus informes. Este cambio marcó una reversión respecto al modelo anterior, en el que los analistas mantenían la neutralidad al no cobrar a los proveedores para evitar conflictos de interés.
Vermorel explicó que hoy en día, muchas empresas analistas han crecido más que nunca a pesar de que su propuesta de valor se ha visto disminuida. Lo han logrado cobrando a los proveedores de software para ser destacados en sus informes. Expresó escepticismo sobre la equidad de esta práctica, señalando que cuanto más paga un proveedor, mejor es retratado en los informes.
La discusión luego se desplazó hacia la evolución de estas empresas analistas. Vermorel describió cómo han pasado de ser analistas de mercado neutrales a funcionar esencialmente como agencias de marketing. La rentabilidad de los proveedores de software ha impulsado esta transición, ya que típicamente disponen de más dinero para gastar en promotional activities de lo que las empresas regulares gastarían en informes.
Vermorel expresó su preocupación por el impacto de este cambio en la industria tecnológica. Argumentó que estas empresas analistas sirven a los intereses de los tech vendors en lugar de proporcionar consejos imparciales a los clientes que buscan adquirir productos de software. Este cambio de enfoque ha conducido a una perspectiva sesgada que no evalúa genuinamente la calidad del producto, sino que promueve a aquellos que pagan más.
Vermorel concluyó expresando su esperanza de que el mercado se adapte a la nueva situación, con los proveedores reconociendo el valor limitado de pagar por la promoción. También elogió a las agencias de consultoría de gestión de primer nivel por mantener una clara separación entre su negocio y lo que recomiendan a sus clientes, garantizando que entreguen valor a los clientes en lugar de centrarse en cobrar a los proveedores.
Transcripción Completa
Kieran Chandler: Hoy, vamos a tratar de arrojar un poco de luz sobre el proceso y entender cuánto puede confiar el profesional de supply chain en los resultados de sus encuestas. Entonces, Joannes, supongo que esto es algo en lo que tienes algo de experiencia. ¿Cómo es que las empresas de software se evalúan actualmente en Lokad?
Joannes Vermorel: En Lokad, recibimos, diría yo, un par de veces a la semana, cada semana, prospectos o consultores que quieren que participemos en algún tipo de encuesta. Puede ser una gran empresa que quiere comprar directamente un nuevo piece of software, en cuyo caso se tratará de un RFP (solicitud de propuesta). O pueden ser consultores o analistas de mercado que simplemente desean evaluar a Lokad en general. La mayoría de las veces, y cuando digo la mayoría de las veces, me refiero a como el 99% de las veces, viene en forma de un cuestionario largo con casillas de verificación. Y cuando digo largo, me refiero a varios cientos de casillas de verificación.
Kieran Chandler: Lo que me resulta muy irritante es que parece ser la práctica por defecto para evaluar el enterprise software. Terminas con esos cuestionarios excesivamente largos, que en realidad son más una fuente de confusión que otra cosa, en mi opinión.
Joannes Vermorel: Bien, hablemos de eso con un poco más de detalle. ¿Dónde tiende a residir la fuente de confusión? Quiero decir, estos analistas y consultores tienen bastanta experiencia, entonces, ¿por qué estos cuestionarios no funcionan tan bien?
Así que, hay que pensar que la gran mayoría de las preguntas son de formato cerrado. Terminas con un número enorme de preguntas que parecen ser estrechas. Es una pregunta de sí o no, pero en la práctica, hay toneladas de matices en la respuesta. Terminas con preguntas como, “¿Soportan exportaciones a Excel?” Esa sería una clásica. La mayoría de los productos de enterprise software necesitan poder exportar a Excel, por lo que es una pregunta que se va a hacer. Pero en realidad, es una pregunta muy compleja. ¿Realmente quieren soportar la exportación a Excel? Y hay muchos detalles. Lo que es exasperante es que esas preguntas, con cientos de casillas de verificación, dan la ilusión de racionalidad y precisión, mientras que en realidad la mayoría de esas respuestas binarias requieren una explicación detallada. Por ejemplo, literalmente podríamos escribir un capítulo de un libro sobre nuestra respuesta al decir, “Sí, de alguna manera soportamos la exportación a Excel. Maximizamos la capacidad en términos de hojas de cálculo de Excel grandes porque frecuentemente es útil para supply chain. Pero en cuanto a macros y opciones peligrosas tales como cargar desde archivos locales en tu computadora, entonces no lo hacemos. Así que, en realidad, a propósito, no soportamos exactamente la especificación completa de las hojas de cálculo de Excel.” Pero ya ves, son muchos matices. Lo mismo se podría decir de todo, como por ejemplo, un uso simulado, que es más como un tema splash-in.
Kieran Chandler: Pero supongo que el verdadero beneficio de adoptar este enfoque de cuestionario es que puedes enviarlo a miles de proveedores diferentes. Quiero decir, hay tantas opciones disponibles. ¿Existe realmente una mejor manera de hacerlo?
La manera perezosa, no es científica. Simplemente te da una ilusión de racionalidad. Si no estuviéramos hablando de software, imagina evaluar restaurantes. Todos son más o menos iguales, pero si marcaras casillas como “¿sirven carne?” o “¿sirven French fries?” o “¿lavan tus platos a 80 grados después de usarlos?” y así sucesivamente, ¿realmente te ofrecería algún conocimiento sobre el restaurante? ¿Te ayudaría a decidir si quieres ir allí?
Joannes Vermorel: Creo que esas preguntas son el enfoque perezoso. Muchos actores en el mercado dependen de ellas porque son fáciles de escalar y se convierten en un producto que se puede vender. Los consultores pueden ir a grandes empresas y decir, “Te ayudamos a elegir el software adecuado. Aquí tienes un cuestionario de 600 casillas de verificación que envías a los proveedores.” Curiosamente, independientemente del tipo de software, alrededor de las dos terceras partes de las preguntas son completamente independientes del problema real. Es exasperante porque he visto preguntas sobre software de supply chain que son casi iguales a las preguntas sobre software de marketing. Estos cuestionarios son simplemente una forma perezosa de sondear el mercado.
Una mejor forma es evaluar los fundamentos del producto que estás tratando de comprar. ¿Cuáles son los fundamentos del problema que estás tratando de resolver? Deberías poder resumirlo en una sola página. Cuando intentamos explicar lo que hacemos en Lokad, toma horas. Entonces, ¿qué características te gustaría incluir en esa única página? Primero, hay dos secciones.
La primera página describiría el problema que deseas resolver. Las empresas a menudo se equivocan en esto. Comienzan diciendo que quieren un software de forecast. Pero los forecast son solo un medio para alcanzar un fin. Lo que realmente quieren es un rendimiento de supply chain. Entonces, en lugar de describir un problema intermedio que puede o no formar parte de la solución final, concéntrate en el problema en sí. Diferencia el problema de lo que percibes como la solución correcta. Los proveedores deberían proponer soluciones que tengan sentido.
Por parte del proveedor de software, al evaluar un proveedor, produce un resumen de una página que describa la visión y los principios de diseño fundamentales del proveedor. No te apoyes en casillas de verificación, sino utiliza palabras para entender de qué se trata realmente el proveedor.
Kieran Chandler: Lo primero que quería preguntarte es sobre el producto que los proveedores de software están tratando de impulsar. Parece ser algo complejo, con cientos de cajas tecnológicas. ¿Cómo ves esto?
Joannes Vermorel: Bueno, no es racional. Si intentaras describir un producto tan básico como Google o Facebook usando estas preguntas complejas, ni siquiera los reconocerías. Por ejemplo, al preguntar si Facebook es compatible con C++, podrías pensar que lo es porque tienen APIs, pero Facebook es una plataforma compleja con partes en C++ y muchas otras en distintos lenguajes. Por lo tanto, no está claro si debería considerarse un producto de C++. El problema es que muchos productos de software empresarial tienen una gran cantidad de funciones inconsistentes, y aunque son buenos en marcar casillas, son malos en realmente hacer algo. Les falta una visión clara y consistencia, y han estado acumulando funciones sin propósito.
Kieran Chandler: Entonces, ¿estás diciendo que estos cuestionarios y evaluaciones utilizados por analistas y consultores para evaluar productos de software no capturan los detalles correctos?
Joannes Vermorel: Sí, exactamente. Son algo perezosos y no logran capturar los aspectos esenciales del producto. Son populares porque proporcionan casillas de verificación y profesores, pero no tienen verdadero sentido en el mundo real. Estos cuestionarios se han vuelto populares, pero carecen de la capacidad para resumir un producto de manera significativa. Si un producto no puede resumirse en una página con una comprensión clara de su propósito y enfoque, entonces no tiene ningún sentido.
Kieran Chandler: Eso es interesante. Entonces, ¿de dónde surgieron estos cuestionarios y por qué se volvieron tan populares?
Joannes Vermorel: Es una historia interesante. Hasta alrededor del año 2000, la información era escasa, y resultaba difícil encontrar proveedores o empresas. Por ejemplo, si necesitabas un proveedor en Malasia, era difícil saber dónde encontrar uno, especialmente si no podías leer el idioma local. Los analistas de mercado proporcionaban listas extensas de empresas y proveedores, pero con la llegada de la web y buscadores como Google, encontrar información se volvió mucho más sencillo. Podías buscar productos o servicios específicos y obtener una lista de empresas en cuestión de horas. Uno podría haber pensado que estos buscadores reemplazarían la necesidad de los analistas de mercado, pero eso no fue lo que sucedió. Los cuestionarios y evaluaciones siguieron siendo populares, a pesar de que no capturaban completamente las capacidades y la esencia de los productos.
Kieran Chandler: Entonces, Joannes, me gustaría hablar sobre el papel de las empresas analistas en la industria del software. ¿Podrías compartir tus conocimientos al respecto?
Joannes Vermorel: Claro. Así que, antes del año 2000, existían estas empresas analistas que vendían informes a compañías. Estos informes contenían información sobre diversos proveedores de software y hardware. En aquel entonces, la gente compraba estos informes para encontrar proveedores o proveedores de software. Los analistas ganaban dinero vendiendo esos informes.
Kieran Chandler: Correcto. ¿Pero luego algo cambió?
Joannes Vermorel: Sí, con la llegada de internet, el acceso a la información se volvió mucho más fácil. Estas empresas analistas se dieron cuenta de que su propuesta de valor ya no era tan relevante. Entonces, tuvieron que cambiar su modelo de negocio.
Kieran Chandler: ¿Cómo pivotaron?
Joannes Vermorel: Empezaron a dirigirse a proveedores tecnológicos, especialmente en el lado del software. Ofrecieron un modelo de “paga para jugar”. Esencialmente, le decían a los proveedores: “Si quieren aparecer de manera destacada en nuestros informes, tienen que pagar.” Esto fue una completa inversión de su modelo previo. Antes del año 2000, los analistas nunca cobraban a los proveedores, ya que eso creaba un conflicto de intereses. Su objetivo era mantenerse neutrales e imparciales. En cambio, vendían sus informes a las empresas clientes.
Kieran Chandler: Eso es interesante. Entonces, ¿las empresas analistas comenzaron a cobrar a los proveedores después del pivot?
Joannes Vermorel: Sí, exactamente. Hoy en día, estas empresas analistas son más grandes que nunca, pero generan ingresos cobrando a los proveedores de software. Cuanto más paga un proveedor, mejor es su posición en los informes. Es una especie de vitrina. Oficialmente, cuando hablas con estas empresas, afirman que nunca aceptan dinero de los proveedores. Niegan cualquier ruptura de confianza o ética. Sin embargo, ofrecen programas costosos a los proveedores para mejorar su alcance y posicionamiento en el mercado. En realidad, es una forma de cobrar a los proveedores de manera indirecta. Con frecuencia, sus vendedores me abordan en LinkedIn, ofreciéndome esos programas.
Kieran Chandler: Entonces, ¿niegan recibir dinero de los proveedores pero ofrecen programas costosos en su lugar?
Joannes Vermorel: Sí, exactamente. Dicen que nunca recogen dinero directamente de los proveedores, lo cual sería poco ético. Sin embargo, ofrecen programas de coaching que vienen con una etiqueta de precio elevada. Afirman que pueden ayudar a los proveedores a mejorar su presencia en el mercado. Sucede que aquellos que han adquirido mucha capacitación de estas empresas terminan siendo clasificados como “visionarios” en sus informes.
Kieran Chandler: Entiendo. Entonces, ¿estas empresas tienen cuadrantes en sus informes, y aquellos etiquetados como “visionarios” son a menudo los que han pagado por una capacitación extensa?
Joannes Vermorel: Sí, eso es correcto. Las empresas que invierten mucho dinero en estos programas terminan siendo clasificadas como “visionarios” en sus cuadrantes.
Kieran Chandler: Joannes, me gustaría comenzar hablando sobre el papel de las empresas analistas en el mercado. Parece haber un cambio en su modelo de negocio. ¿Podrías compartir tus ideas al respecto?
Joannes Vermorel: Absolutamente. En las últimas dos décadas, he observado un cambio significativo en las empresas analistas. Anteriormente, proporcionaban un punto de vista neutral al mercado a través de informes que los clientes compraban. Sin embargo, las cosas han cambiado. Estas empresas ahora cobran a proveedores tecnológicos y a otras compañías para promocionar sus productos. Esencialmente, se han transformado en agencias de marketing. Curiosamente, este giro las ha hecho mucho más grandes y rentables que nunca. Los proveedores, especialmente en la industria del software, tienen más dinero para gastar en comparación con las empresas regulares que compraban los informes originales. Entonces, el enfoque ha cambiado de ser una entidad de evaluación de mercado a ser una agencia de marketing. Aunque no hay nada de malo en ser una agencia de marketing, lo que no es aceptable es pretender ser un analista de mercado neutral mientras se está fuertemente influenciado por los proveedores que son sus clientes principales.
Kieran Chandler: Esa es una perspectiva interesante, Joannes. Entonces, ¿estás diciendo que estas compañías se han vuelto parciales debido a sus vínculos financieros con los proveedores? ¿Cómo crees que responderá el mercado a este modelo de paga-para-jugar? ¿Los clientes y el mercado se darán cuenta del valor limitado que se agrega?
Joannes Vermorel: El mercado, en general, tiene una forma de desarrollar anticuerpos ante tales situaciones. Las empresas, como aquellas para las que trabajaron mis padres hace treinta años, ya no dependen tanto de estos informes. La práctica de comprar informes costosos, que fue común, se ha reducido significativamente. Hoy en día, los clientes rara vez compran estos informes, y aun cuando lo hacen, es a una fracción de los precios anteriores. Así que, en el lado del cliente, este cambio ya ha ocurrido. Sin embargo, es exasperante ver que en el lado del proveedor, muchos competidores de Lokad todavía gastan una cantidad significativa de dinero en estas empresas analistas. Presumen de exhibir cuadrantes donde están clasificados como “visionarios” por tener conceptos tan básicos como safety stocks, service levels, y ABC analysis.
Kieran Chandler: Sabes, dirías que soy muy parcial y que simplemente… Pero ¿el ABC analysis es oficial, verdad?
Joannes Vermorel: Sí, sí, sí. Tal vez puedas ser un visionario teniendo safety stocks que son completamente inseguros. Tal vez, no lo creo. Pero volviendo al tema, es muy curioso porque lo que veo en este momento es que el mercado tiene que ponerse al día con la nueva situación. En cuanto a las empresas reales que realmente quieren información, también veo que consultores muy buenos, digamos agencias de consultoría de gestión de primer nivel, si tienes que nombrar tres, serían BCG, McKinsey y Collin Berry. Ese tipo de gente se distancia de algunos proveedores. Tienen mucho cuidado de no estar promocionando a proveedores específicos como una agencia de marketing. Así que, ya han hecho lo correcto, que es tener una separación clara entre su negocio y lo que recomiendan a sus clientes. Porque su negocio sigue siendo entregar valor a los clientes, no básicamente cobrar a los proveedores y quedarse con una parte. En última instancia, se darán cuenta de que es un desperdicio de dinero. Pero eso también es muy curioso. Quiero decir, los negocios de software han sido sumamente rentables. Hay toneladas de compañías de software muy, muy rentables por ahí. Así que, de alguna manera, es simplemente que no existe el mismo grado de urgencia para recortar los presupuestos, incluso si no sirve… Diría que no ayuda mucho cuando eres muy rentable. Puedes recortar gastos, pero no es, de forma natural, tu prioridad número uno.
Kieran Chandler: Está bien, tendremos que terminar por aquí. Pero eso es todo por esta semana. Muchas gracias por sintonizar, y nos vemos de nuevo en el próximo episodio. ¡Adiós por ahora!
