技术面试高频考点整理：AI、CV、NLP方向

技术面试高频考点整理：AI、CV、NLP方向

人工智能（AI）、计算机视觉（CV）和自然语言处理（NLP）是当前技术领域最热门、发展最快的方向。在技术面试中，这三个领域的问题频繁出现，涵盖了从基础理论到前沿应用的方方面面。本章将详细梳理AI、CV、NLP方向的高频考点，帮助求职者更好地准备面试。

1. 机器学习基础 (AI核心)

机器学习是AI的基石，无论面试CV还是NLP方向，扎实的机器学习基础都是必不可少的。

1.1 核心概念与术语

• 监督学习、无监督学习、半监督学习、强化学习：理解它们之间的区别、适用场景和代表算法。

  • 监督学习：有标签数据，学习输入到输出的映射。

    • 分类：离散输出，如逻辑回归、SVM、决策树、随机森林、GBDT、XGBoost、LightGBM。

    • 回归：连续输出，如线性回归、岭回归、Lasso回归。

  • 无监督学习：无标签数据，发现数据内在结构。

    • 聚类：K-Means、DBSCAN、层次聚类。

    • 降维：PCA、LDA、t-SNE。

  • 半监督学习：少量标签数据与大量无标签数据结合。

  • 强化学习：通过与环境交互学习策略，如Q-learning、SARSA、DQN、A2C、PPO。

• 过拟合与欠拟合：定义、产生原因、检测方法、解决方案（正则化、交叉验证、增大数据量、特征选择、降低模型复杂度、集成学习等）。

• 偏差与方差：理解其含义，以及与过拟合/欠拟合的关系。

• 特征工程：

  • 特征选择：过滤法、包裹法、嵌入法。

  • 特征变换：归一化、标准化、离散化、独热编码、缺失值处理。

  • 特征构建：从原始特征中组合或生成新特征。

• 评估指标：

  • 分类：准确率、精确率、召回率、F1-score、混淆矩阵、ROC曲线、AUC。

  • 回归：MSE、RMSE、MAE、R^2。

  • 聚类：轮廓系数、DBI。

1.2 经典算法原理与应用

• 线性回归与逻辑回归：

  • 原理：最小二乘法、梯度下降、Sigmoid函数。

  • 区别与联系：输出类型、损失函数。

  • 正则化（L1、L2）的作用。

• 支持向量机 SVM：

  • 最大间隔分类器、核函数（线性核、多项式核、RBF核）、软间隔。

  • SMO算法。

• 决策树（ID3、C4.5、CART）：

  • 信息增益、信息增益率、基尼系数。

  • 剪枝策略。

• 集成学习：

  • Bagging：随机森林（Random Forest）——原理、特点、OOB误差。

  • Boosting：

    • AdaBoost：加权投票。

    • GBDT（Gradient Boosting Decision Tree）：梯度提升思想。

    • XGBoost、LightGBM：GBDT的优化，理解其并行化、近似算法、特征分箱等。

• K-Means聚类：原理、K值选择、优缺点。

• 主成分分析 PCA：降维原理、协方差矩阵、特征值/特征向量。

1.3 模型优化与训练

• 梯度下降及其变种：BGD、SGD、MBGD。

• 优化器：Momentum、Adagrad、RMSprop、Adam。理解它们如何加速收敛、解决鞍点问题。

• 交叉验证：K折交叉验证、留一法。

• 模型选择：网格搜索、随机搜索、贝叶斯优化。

Mermaid图示例：机器学习算法分类

2. 深度学习 (AI核心，CV/NLP基石)

深度学习是AI、CV和NLP领域最强大的工具，是面试的重中之重。

2.1 神经网络基础

• 感知机、多层感知机 MLP：理解其结构、激活函数（Sigmoid、ReLU、Leaky ReLU、ELU、Swish等）的作用。

• 反向传播算法：链式法则、梯度计算。

• 损失函数：交叉熵、均方误差等。

• 正则化：L1/L2正则化、Dropout、Batch Normalization。理解它们如何防止过拟合、加速训练。

• 参数初始化：理解不同初始化方法的优缺点。

2.2 卷积神经网络 CNN (CV核心)

• 卷积层：卷积核、步长、填充、感受野。理解卷积操作如何提取特征。

• 池化层：最大池化、平均池化。理解其降采样和特征不变性作用。

• 全连接层：作用。

• 经典CNN架构：

  • LeNet-5：最早的CNN之一。

  • AlexNet：深度学习的里程碑，ReLU、Dropout、LRN。

  • VGG：3x3小卷积核堆叠。

  • GoogLeNet Inception：多尺度特征融合，Inception模块。

  • ResNet：残差连接解决深度网络退化问题。

  • DenseNet：特征重用，密集连接。

  • MobileNet/ShuffleNet：轻量级网络，深度可分离卷积、组卷积等。

• 迁移学习与微调 Fine-tuning：原理、应用场景、如何选择冻结层。

2.3 循环神经网络 RNN (NLP核心)

• RNN基本结构：理解时间步、隐藏状态的传递。

• 长短期记忆网络 LSTM：

  • 解决RNN的梯度消失/爆炸问题。

  • 遗忘门、输入门、输出门、细胞状态。理解每个门的作用。

• 门控循环单元 GRU：LSTM的简化版，更新门、重置门。

• Seq2Seq模型：Encoder-Decoder结构，理解其在机器翻译中的应用。

• Attention机制：

  • 解决Seq2Seq长距离依赖和信息瓶颈问题。

  • 注意力权重计算。

  • 各种Attention变体。

2.4 Transformer (NLP核心，CV也有应用)

• 自注意力机制 Self-Attention：Query、Key、Value，理解其计算过程。

• 多头注意力 Multi-Head Attention：优势。

• 位置编码 Positional Encoding：解决序列顺序信息。

• Encoder-Decoder结构：

  • Encoder：多层Self-Attention和Feed-Forward。

  • Decoder：Masked Self-Attention、Encoder-Decoder Attention、Feed-Forward。

• Transformer的优势：并行计算、长距离依赖、无需RNN/CNN。

Mermaid图示例：深度学习模型演进 (部分)

3. 计算机视觉 CV

计算机视觉是AI的一个重要分支，专注于让机器“看懂”图像和视频。

3.1 图像处理基础

• 图像表示：像素、通道、色彩空间（RGB、HSV、灰度图）。

• 基本操作：

  • 滤波：高斯滤波、中值滤波（去噪）。

  • 边缘检测：Sobel、Prewitt、Canny。

  • 形态学操作：腐蚀、膨胀、开运算、闭运算。

• 图像特征：

  • 传统特征：HOG、SIFT、SURF。

  • 深度学习特征：CNN提取的特征图。

3.2 经典CV任务

• 图像分类 Image Classification：

  • 任务定义、常用数据集（ImageNet）。

  • SOTA模型（参考2.2的CNN架构）。

• 目标检测 Object Detection：

  • 任务定义：定位 bounding box 和分类。

  • 两阶段检测器：

    • R-CNN、Fast R-CNN、Faster R-CNN：RPN、RoI Pooling。

    • 理解其工作流程、优缺点。

  • 单阶段检测器：

    • YOLO（You Only Look Once）：原理、Grid Cell、Anchor Box、NMS。

    • SSD（Single Shot MultiBox Detector）：多尺度特征图预测。

    • RetinaNet：Focal Loss。

  • 评估指标：mAP。

• 语义分割 Semantic Segmentation：

  • 任务定义：像素级分类。

  • FCN（Fully Convolutional Network）：全卷积、上采样。

  • U-Net：编码器-解码器结构、跳跃连接。

  • Deeplab系列。

  • 评估指标：IoU、Pixel Accuracy。

• 实例分割 Instance Segmentation：

  • 任务定义：区分不同实例的像素。

  • Mask R-CNN：在Faster R-CNN基础上增加Mask分支。

• 姿态估计 Pose Estimation：人体关键点检测。

• 图像生成：

  • GAN（Generative Adversarial Network）：生成器、判别器、对抗训练思想。

  • VAE（Variational AutoEncoder）：变分自编码器。

  • 扩散模型 Diffusion Model：DALL-E 2、Stable Diffusion等。

• 度量学习 Metric Learning：Siamese Network、Triplet Loss。

3.3 CV前沿与应用

• 自监督学习 Self-supervised Learning for CV：对比学习（SimCLR、MoCo）。

• 多模态学习：图像-文本交叉理解（CLIP、DALL-E）。

• 3D视觉：点云处理、NeRF。

• 视频理解：行为识别、动作检测。

Mermaid图示例：CV任务与模型

4. 自然语言处理 NLP

自然语言处理是AI的另一个重要分支，专注于让机器理解和生成人类语言。

4.1 NLP基础

• 文本预处理：

  • 分词（Word Tokenization）、句法分析（Sentence Tokenization）。

  • 词形还原（Lemmatization）、词干提取（Stemming）。

  • 去除停用词（Stop Words Removal）。

  • 大小写转换、标点符号处理。

• 文本表示：

  • One-Hot编码：稀疏性、维度灾难。

  • 词袋模型 BoW：TF-IDF。

  • 词嵌入 Word Embedding：

    • Word2Vec（Skip-gram、CBOW）：原理、负采样、Hierarchical Softmax。

    • GloVe。

    • FastText。

  • 句嵌入 Sentence Embedding：Doc2Vec、BERT Sentence Embedding。

4.2 经典NLP任务

• 文本分类 Text Classification：

  • 情感分析、垃圾邮件检测、新闻分类。

  • 常用模型：朴素贝叶斯、SVM、TextCNN、TextRNN、BERT。

• 序列标注 Sequence Labeling：

  • 命名实体识别 NER：HMM、CRF、BiLSTM-CRF。

  • 词性标注 POS Tagging。

• 机器翻译 Machine Translation：

  • Seq2Seq with Attention。

  • Transformer。

• 问答系统 QA System：

  • 抽取式问答、生成式问答。

  • MRC（Machine Reading Comprehension）。

• 文本生成 Text Generation：

  • 摘要生成、对话系统、诗歌生成。

  • RNN、LSTM、Transformer Decoder。

• 信息抽取 Information Extraction：从非结构化文本中提取结构化信息。

4.3 预训练语言模型 (PLM)

• ELMo：双向LSTM，多层表示。

• BERT（Bidirectional Encoder Representations from Transformers）：

  • 原理：基于Transformer Encoder的双向预训练。

  • 预训练任务：Masked Language Model MLM、Next Sentence Prediction NSP。

  • 微调 Fine-tuning：如何应用于下游任务。

• GPT系列（Generative Pre-trained Transformer）：

  • 原理：基于Transformer Decoder的单向预训练。

  • 区别于BERT：单向性、生成能力。

  • GPT-2、GPT-3、GPT-4：参数量、能力演进、In-context Learning。

• RoBERTa、ALBERT、XLNet、T5等：理解它们对BERT的改进。

• 大语言模型 LLM：

  • 涌现能力（Emergent Abilities）。

  • 指令微调（Instruction Tuning）、RLHF（Reinforcement Learning from Human Feedback）。

  • Prompt Engineering。

4.4 NLP前沿与应用

• 多模态NLP：图文结合（CLIP、DALL-E）。

• 知识图谱 Knowledge Graph：实体关系抽取、知识推理。

• 对话系统：任务型对话、开放域对话。

• 代码生成与理解。

Mermaid图示例：NLP任务与模型

5. 算法与数据结构

无论哪个方向，扎实的算法与数据结构基础都是衡量编程能力和问题解决能力的关键。

5.1 数据结构

• 数组、链表：基本操作、优缺点。

• 栈、队列：LIFO、FIFO、应用场景。

• 树：二叉树、二叉搜索树、平衡二叉树（AVL、红黑树）、B树、B+树。

• 图：邻接矩阵、邻接表。

• 哈希表：哈希冲突解决（开放寻址、链地址法）。

5.2 算法

• 排序算法：

  • 冒泡、选择、插入、快速排序、归并排序、堆排序。

  • 时间复杂度、空间复杂度、稳定性分析。

• 查找算法：二分查找。

• 图算法：

  • BFS、DFS：遍历、连通性。

  • 最短路径：Dijkstra、Floyd。

  • 最小生成树：Prim、Kruskal。

• 动态规划：理解核心思想、状态转移方程。

• 贪心算法。

• 回溯法。

• 分治法。

6. 编程语言与工具

• Python：作为AI/CV/NLP领域的主流语言，熟练掌握是必须的。

  • Python基础语法、面向对象编程。

  • 常用库：Numpy、Pandas、Matplotlib。

  • 深度学习框架：

    • PyTorch：动态图、易用性。

    • TensorFlow：静态图、工业界应用。

    • 理解其核心概念：张量、自动求导、计算图。

• Git：版本控制工具，代码管理必备。

• Linux基础命令：服务器操作、文件管理。

• Docker：容器化技术，部署与环境管理。

7. 项目经验与工程实践

• 项目流程：从需求分析、数据收集、模型选择、训练、评估、部署到维护的全流程。

• 数据处理：大规模数据处理、数据清洗、数据标注。

• 模型训练：分布式训练、超参数调优、早停、学习率调度。

• 模型部署：模型压缩（剪枝、量化、知识蒸馏）、ONNX、TensorRT、模型服务化（Flask、FastAPI）。

• 可解释性AI XAI：LIME、SHAP。

• MLOps：模型版本管理、数据版本管理、持续集成/持续部署（CI/CD）。

8. 开放性问题与软技能

• 职业规划：对未来发展方向的思考。

• 对AI/CV/NLP领域最新进展的关注：阅读顶会论文（CVPR、ICCV、ECCV、NeurIPS、ICLR、ACL、EMNLP）。

• 解决问题能力：遇到难题如何思考、如何寻求帮助。

• 学习能力：如何学习新知识、新框架。

• 沟通能力与团队协作。

• 项目难点与亮点：如何在项目中体现个人价值和技术深度。

总结

AI、CV、NLP方向的技术面试涵盖面广，深度要求高。准备时应从机器学习基础、深度学习核心理论出发，深入理解CV和NLP各自的经典任务和前沿模型。同时，扎实的编程能力、算法与数据结构基础、以及丰富的项目实践经验，都是成功的关键。面试不仅是技术能力的考察，也是解决问题能力、学习能力和沟通能力的综合体现。持续学习、关注最新技术动态，并结合实际项目经验进行深入思考，将大大提高面试成功率。