1. x64 ShellCode开发环境准备
在开始编写x64 ShellCode之前，我们需要搭建一个合适的开发环境。与x86架构相比，x64环境有几个关键区别需要注意。
1.1 工具链选择
对于x64汇编开发，我推荐使用以下工具组合：
- NASM（Netwide Assembler）：这是目前最成熟的x64汇编器之一，支持最新的指令集扩展
- Visual Studio：提供强大的调试功能，特别是其内联汇编功能对开发很有帮助
- WinDbg：微软官方调试工具，对分析ShellCode执行过程非常有用
注意：避免使用老旧版本的MASM，它对x64指令集的支持不够完善，可能会遇到奇怪的兼容性问题。
1.2 开发环境配置
在Windows x64平台上配置NASM环境：
- 下载最新版NASM（建议2.15.05或更高版本）
- 添加NASM到系统PATH环境变量
- 验证安装：
nasm -v应显示正确的版本信息
我通常在VS Code中配置NASM开发环境，安装以下插件：
- NASM Assembly Language Support
- Hex Editor（用于查看生成的二进制代码）
- Code Runner（快速执行编译命令）
2. x64汇编关键差异解析
x64架构在寄存器、调用约定等方面与x86有显著不同，这些差异直接影响ShellCode的编写方式。
2.1 寄存器扩展
x64架构将8个通用寄存器扩展到64位，并新增了8个寄存器：
| 寄存器 | 64位 | 32位 | 16位 | 8位高 | 8位低 |
|---|---|---|---|---|---|
| 累加器 | RAX | EAX | AX | AH | AL |
| 基址 | RBX | EBX | BX | BH | BL |
| 计数 | RCX | ECX | CX | CH | CL |
| 数据 | RDX | EDX | DX | DH | DL |
| 新寄存器 | R8-R15 | R8D-R15D | R8W-R15W | - | R8B-R15B |
关键点：
- 新增的R8-R15寄存器为ShellCode编写提供了更多灵活性
- 32位操作会自动清零高32位（不同于x86的行为）
- 不能直接访问R8-R15的高8位（没有R8H这样的寄存器）
2.2 调用约定差异
x64 Windows采用独特的调用约定，与x86的stdcall有很大不同：
- 前四个整数/指针参数通过RCX、RDX、R8、R9传递
- 前四个浮点参数通过XMM0-XMM3传递
- 调用者负责在栈上预留32字节的"shadow space"
- 调用者负责清理栈空间
典型的函数序言：
asm复制sub rsp, 28h ; 分配shadow space+返回地址
mov [rsp+20h], r9 ; 第四个参数
mov r9, r8 ; 第三个参数
mov r8, rdx ; 第二个参数
mov rdx, rcx ; 第一个参数
3. x64 ShellCode编写技巧
3.1 位置无关代码
ShellCode必须能够独立运行，不依赖固定内存地址。x64下实现位置无关代码有几个关键点：
- 使用RIP相对寻址：
asm复制lea rax, [rel label] ; 正确的方式
- 避免绝对跳转：
asm复制jmp short $+2 ; 相对跳转
- 动态获取API地址：
asm复制mov rax, gs:[60h] ; 获取PEB
mov rax, [rax+18h] ; 获取PEB_LDR_DATA
; 后续遍历模块列表...
3.2 避免空字节
ShellCode中经常需要避免空字节（\x00），这在x64下更具挑战性：
- 使用32位寄存器操作自动清零高位的特性：
asm复制xor eax, eax ; 比 xor rax, rax 少一个字节
- 巧用符号扩展：
asm复制movsxd rax, ebx ; 比 mov rax, rbx 更灵活
- 地址计算技巧：
asm复制lea rcx, [rax+12h] ; 比 mov rcx, 12h 更紧凑
4. 实际案例：MessageBox ShellCode
让我们看一个完整的x64 MessageBox ShellCode实现：
asm复制bits 64
section .text
global _start
_start:
xor rcx, rcx ; hWnd = NULL
lea rdx, [rel msg] ; lpText
lea r8, [rel title] ; lpCaption
xor r9d, r9d ; uType = MB_OK
sub rsp, 28h ; shadow space
mov rax, 0x12345678 ; MessageBoxA地址占位符
call rax
add rsp, 28h
ret
msg: db "Hello x64 World!",0
title: db "ShellCode Demo",0
关键点解析：
- 使用RIP相对寻址定位字符串
- 正确设置shadow space
- 实际使用时需要动态解析MessageBoxA地址
- 字符串必须放在代码段末尾
5. 调试与分析技巧
5.1 使用WinDbg调试ShellCode
调试ShellCode的典型步骤：
- 分配可执行内存：
bash复制.edata 2000
- 写入ShellCode：
bash复制ea 0000026b`3dfe0000 "48 31 C9 48 8D 15 ..."
- 设置执行断点：
bash复制bp 0000026b`3dfe0000
- 单步跟踪：
bash复制t
5.2 常见问题排查
-
访问违例（0xC0000005）：
- 检查内存权限（需要PAGE_EXECUTE_READWRITE）
- 验证API地址是否正确
-
栈不平衡：
- 确保shadow space分配正确
- 检查call/ret配对
-
位置相关错误：
- 使用
u命令反汇编验证代码 - 检查RIP相对寻址是否正确
- 使用
6. 高级优化技巧
6.1 减小ShellCode体积
- 使用短指令：
asm复制push 60h ; 2字节
mov rax, 60h ; 7字节
- 重用寄存器：
asm复制xor eax, eax
mov al, 1 ; 比 mov eax, 1 更小
- 利用栈操作：
asm复制push 'ABCD' ; 将字符串压栈
mov rcx, rsp ; 使用栈上的字符串
6.2 绕过检测的技术
-
动态代码生成：
- 在运行时解密或重组代码
- 使用自修改代码技术
-
API调用混淆：
- 通过哈希值查找API
- 使用间接调用
-
异常处理技巧：
- 利用SEH绕过栈检查
- 故意触发异常转移控制流
我在实际项目中发现，最可靠的ShellCode往往不是最复杂的，而是那些能够稳定运行在各种环境下的简洁实现。x64 ShellCode开发需要特别注意指令编码细节和调用约定，一个常见的错误是忘记分配shadow space导致栈损坏。建议在开发过程中使用调试器逐步验证每个步骤的内存状态和寄存器值。