Exam AWS Certified AI Practitioner AIF-C01 topic 1 question 70 discussion

Explicação: Em tarefas de classificação de imagens, a precisão (accuracy) é uma métrica comum que compara as previsões do modelo com os rótulos reais de um conjunto de dados de teste conhecido (conjunto de dados de referência). Por que as outras opções estão incorretas: A. Calcule o custo total dos recursos usados pelo modelo: Isso mede eficiência ou custo operacional, não a precisão do modelo. C. Conte o número de camadas na rede neural: Isso fornece informações sobre a complexidade do modelo, não sua precisão ou desempenho real. D. Avalie a precisão de cores das imagens processadas pelo modelo: Irrelevante para tarefas de classificação; a precisão de cores não mede se a classificação foi correta.

B. Measure the model's accuracy against a predefined benchmark dataset: This is the correct strategy for evaluating the performance of a foundation model (FM) in an image classification task. Accuracy is typically evaluated by comparing the model's predictions to the known labels of a benchmark dataset that is representative of the problem domain. This allows you to quantify how well the model is performing.

B. Measure the model's accuracy against a predefined benchmark dataset. Reasoning: Accuracy in Image Classification: The standard way to evaluate the accuracy of a foundation model in image classification tasks is to compare the model's predictions against the ground truth labels in a predefined benchmark dataset. This ensures consistency and reliability in performance evaluation. Benchmark Dataset: A benchmark dataset contains labelled images that serve as a standard for evaluating the performance of image classification models. Examples include ImageNet, CIFAR-10, or MNIST, depending on the task and complexity. Evaluation Metrics: Metrics such as accuracy, precision, recall, and F1 score are typically calculated using the predictions and ground truth labels in the benchmark dataset.

B is good