Como uma CRO qualifica um fornecedor de IA dentro do seu próprio sistema da qualidade

A RFP do patrocinador já pergunta. O seu SGQ ainda não tem resposta.

Em algum momento dos últimos dois ciclos, uma pergunta migrou do slide de inovação para a seção de qualificação da RFP do patrocinador. Com pequenas variações, ela diz o seguinte:

Descreva os sistemas de inteligência artificial ou aprendizado de máquina utilizados na prestação destes serviços. Descreva como esses sistemas são validados. Descreva como suas saídas são controladas dentro do seu sistema de gestão da qualidade. Identifique quem responde pela saída.

Isso não é uma pergunta sobre inovação. É uma pergunta de qualificação de fornecedor, e ela cai na unidade da qualidade, não na área comercial. Hoje a maioria das CROs responde de uma de duas formas, e ambas perdem a concorrência.

As duas respostas que perdem

A primeira é a negativa. "Não utilizamos sistemas de IA na prestação destes serviços." Isso era defensável dezoito meses atrás. Hoje o patrocinador lê essa frase como falsa ou como pouco competitiva, porque ele sabe o que os demais concorrentes estão propondo e sabe como é um fluxo moderno de redação médica ou de viabilidade.

A segunda é o certificado de segurança. A CRO encaminha o relatório SOC 2 ou o certificado ISO 27001 do fornecedor. Isso é um erro de categoria, e o líder da qualidade do patrocinador percebe na hora. O SOC 2 diz que o fornecedor não vai perder os seus dados. Não diz absolutamente nada sobre a confiabilidade da saída em uma submissão regulatória. Segurança da informação e validação de sistemas computadorizados são disciplinas distintas que respondem a perguntas distintas, e a RFP fez a segunda.

Por que a unidade da qualidade está genuinamente travada

Vale dizer isso com clareza, porque a dificuldade é real e não representa falha de diligência de ninguém.

A validação de sistemas computadorizados, como praticada sob o GAMP 5 e como esperada pelos inspetores, apoia-se em uma premissa antiga e inteiramente razoável: a de que o sistema é determinístico. Você define o requisito, especifica o desenho, testa instalação, operação e desempenho, e demonstra que a mesma entrada produz a mesma saída. A repetibilidade é a viga mestra. Cada artefato do pacote de validação, cada matriz de rastreabilidade, cada gatilho de requalificação se apoia sobre ela.

Um modelo de linguagem de grande porte não oferece repetibilidade nesse sentido. A mesma entrada pode produzir saídas diferentes. Ajustes de temperatura e fixação de semente reduzem a variância, mas não convertem o sistema em determinístico, e uma unidade da qualidade que escreve um protocolo de PQ afirmando o contrário escreveu um documento que não conseguirá defender em inspeção.

Ou seja, pede-se à função de qualidade da CRO que valide algo cujo comportamento fundamental quebra o próprio quadro sobre o qual a validação foi construída. Isso não é um problema de papelada. É estrutural, e dizer a um Diretor de Qualidade para "apenas estender o POP existente" não é resposta.

O que o patrocinador está realmente pedindo

Releia a pergunta da RFP e observe o que ela não pergunta. Não pergunta se o modelo é preciso. Não pede pontuação de benchmark. Pergunta como a saída é controlada e quem responde por ela.

Isso é uma pergunta sobre evidência, não sobre modelo.

O quadro regulatório que o patrocinador tem em mente é aquele em que ele já vive. Sob o 21 CFR Part 11 e o Anexo 11 europeu, registros que sustentam uma decisão regulada exigem trilhas de auditoria atribuíveis, contemporâneas e duradouras. Sob o ALCOA+, os dados que sustentam essa decisão precisam ser atribuíveis, legíveis, contemporâneos, originais e exatos. Sob o ICH E6(R3), o patrocinador responde pelos sistemas utilizados na condução do estudo independentemente de quem os opera. Nenhum desses quadros pergunta se o modelo é inteligente. Todos perguntam se você consegue demonstrar o caminho percorrido depois, para alguém hostil, anos mais tarde.

É esta a virada que destrava o problema inteiro:

Você não valida o modelo. Você valida a evidência que o modelo produz.

Um sistema probabilístico que emite uma afirmação não verificável é invalidável, e nenhuma quantidade de documentação resolve isso. Um sistema probabilístico cuja saída é conferida por um mecanismo separado e independente antes de chegar a um humano é outro objeto. O que entra no seu sistema da qualidade não é a opinião do modelo. É um artefato conferido, com proveniência rastreável, e artefatos conferidos são algo que o seu SGQ já sabe tratar.

A verificação como camada separada

Este é o princípio de arquitetura por trás do Three-Gate Verification System da NexTrial, e vale descrevê-lo estruturalmente e não como argumento de produto, porque é a estrutura que a unidade da qualidade de uma CRO precisa avaliar.

Gate 1, jurisdição. O conjunto de requisitos regulatórios aplicáveis é resolvido antes de qualquer geração. O que a FDA exige não é o que a ANVISA exige, que não é o que o CDSCO exige, e um sistema que trata jurisdição como filtro posterior já produziu o artefato errado. O Gate 1 é desenhado para tornar a jurisdição uma restrição de entrada, e não uma conferência a jusante.

Gate 2, prova estrutural. O artefato gerado é conferido contra a estrutura de requisitos da jurisdição por um mecanismo independente do modelo que o produziu. O sentido da independência é a evidência não correlacionada: um modelo que confere a própria saída compartilha os modos de falha daquilo que confere, razão pela qual pontuações de autoconsistência e índices de confiança não são evidência. Esta camada de prova estrutural entrou em produção e está em primeira validação com um patrocinador. Um patrocinador é um n pequeno, e está declarado aqui como n pequeno de propósito.

Gate 3, supervisão humana. O veredito vai para um humano qualificado, que decide. Não é uma recomendação que o humano carimba, nem uma automação que o humano supervisiona. A decisão permanece um ato humano, com a evidência anexada a ela.

Uma camada de verificação formal construída em Lean 4 está em desenvolvimento. Não está em produção, e nenhum número de desempenho é associado a ela aqui, porque um número associado a um sistema não entregue é um número fabricado.

O motivo pelo qual essa estrutura importa especificamente para uma CRO: ela produz um artefato que você coloca diante do auditor do patrocinador sem precisar defender o modelo. O objeto defensável é a prova, não a previsão.

A camada jurisdicional, e por que ela muda por região

Três coisas são verdadeiras ao mesmo tempo para uma CRO que opera entre fronteiras, e cada uma gera uma versão diferente da mesma pergunta de RFP.

No Brasil, um patrocinador internacional sob a ANVISA enfrenta uma estrutura de requisitos genuinamente distinta da norte-americana, e a CRO que carrega a entrega local é quem precisa demonstrar conformidade. Codificar essa estrutura, em vez de traduzir um checklist norte-americano, é a diferença entre uma submissão que passa e uma que volta com exigência.

Na Índia, as obrigações de conformidade ao protocolo perante o CDSCO para patrocinadores estrangeiros convivem com um modelo de entrega que frequentemente é de prestação de serviço funcional e não de serviço completo, o que muda quem detém a obrigação da qualidade e como a qualificação do fornecedor chega ao patrocinador.

Na Europa, a pergunta em aberto é se um determinado sistema de apoio a estudos clínicos se enquadra na categoria de alto risco do EU AI Act, e quais obrigações se aplicam caso se enquadre. Essa questão não está resolvida para esta classe de ferramenta, e qualquer fornecedor que diga a uma CRO alemã que está resolvida está dizendo algo que depois terá de desmentir. A postura correta é construir a documentação técnica e o registro de logs que uma classificação de alto risco exigiria, e ser capaz de mostrá-los independentemente do desfecho da classificação.

Oito perguntas para fazer a qualquer fornecedor de IA

São perguntas que a unidade da qualidade de uma CRO pode enviar a qualquer fornecedor da categoria, inclusive a nós. Estão ordenadas de modo que as quatro primeiras desqualifiquem rapidamente.

1. Quando o seu sistema produz uma saída, qual mecanismo independente a confere antes que um humano a veja? Se a resposta for um índice de confiança produzido pelo mesmo modelo, não existe conferência independente.
2. Esse mecanismo de conferência é correlacionado com o modelo gerador? Dados de treinamento, arquitetura ou contexto de prompt compartilhados significam pontos cegos compartilhados.
3. Qual artefato o seu sistema entrega ao nosso sistema da qualidade, e qual é o seu registro de proveniência? Você está qualificando o artefato, não o software.
4. Mostre a trilha de auditoria de uma única decisão, do início ao fim. Se ela não puder ser reconstruída sob demanda, não sobreviverá a uma inspeção.
5. Qual estrutura de requisitos jurisdicionais foi aplicada, e onde essa codificação é mantida? Jurisdição tratada como camada de tradução é jurisdição tratada de forma errada.
6. O que na sua plataforma está entregue e o que está em desenvolvimento? Peça a resposta nessas palavras. O tempo verbal da resposta revela o que você está comprando.
7. Onde fica a decisão humana no seu fluxo, e ela pode ser contornada? Se puder ser contornada sob pressão de prazo, será.
8. O que o seu sistema armazena, e o que ele nunca armazena? Para uma CRO que detém dados do patrocinador sob contrato, o limite importa mais que a capacidade.

Um fornecedor que responde às oito em linguagem simples é um fornecedor que a sua unidade da qualidade consegue qualificar. Um fornecedor que responde com pontuações de benchmark é um fornecedor que não entendeu a pergunta.

O ponto comercial

A CRO que consegue entregar ao patrocinador um pacote de validação ganha a concorrência. Não é a CRO com mais IA, nem a com menos. Ganha aquela cuja unidade da qualidade responde à seção de qualificação sem hesitar, porque é essa resposta que converte uma alegação de inovação em serviço contratável.

Essa é a demanda real. Não é uma compra de tecnologia. É uma compra de evidência.

Evidência, não substituição. O humano decide.

Perguntas frequentes

Um sistema de IA pode ser validado sob o GAMP 5?
O quadro de validação pressupõe comportamento determinístico, e um modelo de linguagem de grande porte não o oferece. A abordagem viável é validar a evidência que o sistema produz, e não o modelo em si, exigindo um mecanismo de verificação independente entre a saída gerada e a decisão humana.

SOC 2 ou ISO 27001 respondem à pergunta do patrocinador sobre IA?
Não. Essas certificações tratam de segurança da informação. A pergunta de qualificação do patrocinador trata da confiabilidade da saída em uma decisão regulada, o que é uma questão de validação de sistemas computadorizados, não de segurança.

Quem responde por uma saída de IA em um estudo clínico sob o ICH E6(R3)?
A responsabilidade pelos sistemas utilizados na condução do estudo permanece com o patrocinador, independentemente de quem os opera, razão pela qual a evidência de qualificação de fornecedor da CRO chega à prontidão para inspeção do próprio patrocinador.

O que é evidência não correlacionada?
Verificação produzida por um mecanismo que não compartilha a arquitetura, os dados de treinamento ou o contexto do modelo gerador. Conferências correlacionadas reproduzem o erro original, razão pela qual o índice de confiança do próprio modelo não é evidência de sua correção.

O que uma CRO deve perguntar primeiro a um fornecedor de IA?
Qual mecanismo independente confere a saída antes que um humano a veja. Se não houver um, as demais perguntas não importam.