原创AI技术博客

Batch Normalization（BN）是一种深度学习的layer（层）。它可以帮助神经网络模型加速训练，并同时使得模型变得更加稳定。尽管BN的效果很好，但是它的原理却依然没有十分清晰。本文总结一些相关的讨论，来帮助我们理解BN背后的原理。

阿里巴巴最新开源了320亿参数的大语言模型Qwen1.5-32B，这个模型在各项评测结果中都略超此前最强开源大模型Mixtral 8×7B MoE，比720亿参数的Qwen-1.5-72B模型略差。但是一半的参数意味着只有一半的显存，这样的性价比极高。

大多数编程领域的大模型应用都是单行代码补全或者单个函数生成的方式。完整的程序生成依然面临较大的挑战。而现在，一个初创企业直接发布了一个AI软件工程师，可以直接作为一个程序员来接受用户需求和反馈，独立完成编码和应用上线功能。这就是Cognition发布的全球首个AI软件工程师Devin。

今天，吴恩达在推特上宣布和OpenAI、LangChain以及Lamini三家公司共同推出了3门短视频课程，分别是《使用ChatGPT API构建系统》、《基于LangChain的大语言模型应用与开发》和《Diffusion模型是如何工作的》。三门课程都是1个小时的短视频课程，而且配有详细的Jupyter Notebook使用方法。

开源大语言模型经过一年多的发展，终于有一个模型可以在权威榜单上击败GPT-4的较早的版本，这就是CohereAI企业开源的Command R+。这是一个开源但是不允许商用的模型，参数规模达到1040亿，也是目前为止开源参数规模最大的一个模型。

2024年10月22日，Anthropic发布了两个新模型：升级版的Claude 3.5 Sonnet和全新的Claude 3.5 Haiku。升级版的Claude 3.5 Sonnet在保持原有价格和速度的基础上，实现了全面性能提升，尤其在编码领域取得了显著进步。新推出的Claude 3.5 Haiku则以与Claude 3 Haiku相同的成本和类似的速度，在多个评测中达到了与Claude 3 Opus相当的性能水平。

Qwen3 是阿里于 2025 年 6 月开源的新一代大模型系列，共发布了 8 个不同参数规模的模型，覆盖从 6 亿到 2350 亿参数的范围，融合了稠密模型和 MoE 架构。值得注意的是，此次未包含此前广受关注的 Qwen-72B 稠密模型版本，阿里表示从 Qwen3 起，超过 30B 参数的模型将统一采用 MoE 架构以优化性能和效率。

在人工智能领域，随着大型语言模型（LLMs）在各类任务中的表现不断提升，评估这些模型的实际能力变得尤为重要。尤其是在软件工程领域，AI 模型是否能够准确地解决真实的编程问题，是衡量其真正应用潜力的关键。而在这方面，OpenAI 推出的 *SWE-bench Verified* 基准测试，旨在提供一个更加可靠和精确的评估工具，帮助开发者和研究者全面了解 AI 模型在处理软件工程任务时的能力。

OpenAI是全球最著名的人工智能研究机构，发布了许多著名的人工智能技术和成果，如大语言模型GPT系列、文本生成图片预训练模型DALL·E系列、语音识别模型Whisper系列等。由于这些模型在各自领域都有相当惊艳的表现，引起了全世界广泛的关注。

Firebolt开发了一个数据工程师的网页小游戏，带你体验数据分析的全流程。游戏里你扮演一个数据工程师，从数据收集开始，经历数据pipeline、数据入数据湖以及数据分析等，最终形成各种图表的结果。

Python最新正式版本3.10在10月4日已经发布。这个版本从2020年5月开始开发，经历差不多一年半的时间终于正式发布。当然每一个新版本都有很多新功能。我们将持续关注新功能，在这篇文章中，我们将简述3.10中新功能中的语法——结构模式匹配（structural pattern matching）。

几个小时前SemiAnalysis的DYLAN PATEL和DYLAN PATEL发布了一个关于GPT-4的技术信息，包括GPT-4的架构、参数数量、训练成本、训练数据集等。本篇涉及的GPT-4数据是由他们收集，并未公开数据源。但是内容还是有一定参考性，大家自行判断。

使用AI技术预测未来、对数据进行分类可以解决很多个人或者小企业的问题。然而，对于新手和非行业的小企业来说，学习或者雇佣一个专业人才解决这些问题似乎有些得不偿失。这里给大家推荐一个给新手的可视化的机器学习模型训练网站，可以让大家都能享受到AI技术带来的红利。

异质表格数据是最常用的数据形式，对于众多关键和计算要求高的应用来说是必不可少的。在同质数据集上，深度神经网络已多次显示出优异的性能，因此被广泛采用。然而，它们在表格数据建模（推理或生成）方面的应用仍然具有高度挑战性。

Git操作记录

少量标记的学习（Few-shot learning）是一种在较少标注数据集中进行模型训练的一种学习方法。为了解决大量标注数据难以获取的情况，利用预训练模型，在少量标记的数据中进行微调是一种新的帮助我们进行模型训练的方法。而就在昨天，Hugging Face发布了一个新的语句transformers（Sentence Transformers）框架，可以针对少量标记数据进行模型微调以获取很好的效果。

阿里巴巴刚刚开源了第三代千问大模型，Qwen3系列包含了8个不同参数规模的大模型，最大达到2350亿参数规模，最小仅6亿参数规模。本次发布的Qwen3系列是推理大模型和常规的大模型混合版本，即Qwen3可以根据输入问题的情况自动选择是否进行推理。

Gemma系列大模型是Google开源的一系列轻量级的大模型。就在刚才（2025年3月12日），Google开源了第三代Gemma系列大模型，共包含4个不同参数规模版本，第三代的Gemma 3系列是多模态大模型，即使是最小的10亿参数规模的Gemma 3-1B也支持多模态输入。

gluon模型无法下载

OpenAI发布的产品中，有2个产品可以用来将GPT当作一个类似AI Agent工具使用，同时支持接入自定义的接口和数据。那就是GPTs和Assistant API，前者可以在界面直接操作，后者则是一个API，两者功能接近，为了让大家更加清晰理解二者区别，OpenAI官方最近发布了二者的解释。

Stable Diffusion XL是StabilityAI最新的开源模型。是目前业界流行的免费开源图像生成大模型。2023年4月份StabilityAI就宣布了SD XL的存在并在2023年7月26日开源。SD XL相比较此前的模型速度更快、提示词更短、生成的图像更加真实。但是，大多数人可能并没有实际运行过，感受过这个模型的魅力。在这篇博客中，我们给大家展示如何利用Google Colab的免费GPU资源，部署一个SD XL模型，并通过prompt生成一些图片。