二项式Logistic回归是一种广泛使用的分类模型。本问题中,我们将介绍如何使用R语言中的maxLik包来实现基于BFGS算法的Binary Logistic Regression(二项式Logistic回归)。
首先,我们需要加载所需的软件包。
library(maxLik)
library(microbenchmark)
现在我们有了一个数据集。在这里,我们将用“mtcars”数据集来演示该算法。我们对数据进行预处理,并将其转换为二元响应变量。
data("mtcars")
df <- mtcars
df$am <- factor(df$am)
df$am <- ifelse(df$am == 0, 'no', 'yes')
接下来,我们需要定义logistic模型以及对数似然函数。
logit.p <- function(beta, X) {
1 / (1 + exp(-(X %*% beta)))
}
loglikelihood <- function(beta, X, Y) {
p <- logit.p(beta, X)
-sum((Y == 1) * log(p) + (Y == 0) * log(1 - p))
}
然后,我们需要设置初始参数,并运行最大似然估计。
# Initial values
start.vals <- rep(0, ncol(df)-1)
# Run optimization
fit <- maxLik(loglikelihood, start = start.vals, X = as.matrix(df[, -1]),
Y = ifelse(df$am == 'yes', 1, 0), method = 'BFGS',
control = list(factr = 1e4, pgtol = 1e-8))
summary(fit)
该算法将返回一些统计结果,如系数和对数似然值等。
现在,我们可以使用预测函数来对数据进行分类。
predicted.values <- ifelse