Linux下删除大数据文件中部分字段重复行的方法
最近写的一个数据采集程序生成了一个含有1千多万行数据的文件，数据由4个字段组成，按照要求需要删除第二个字段重复的行，找来找去linux下也没找到合适的工具，sed/gawk等流处理工具只能针对一行一行处理，并无法找到字段重复的行。看来只好自己python一个程序了，突然想起来利用mysql，于是进行乾坤大挪移：
1. 利用mysq ...
在Linux下如何使用软盘、光盘等分区
这是Linux初学者问得最多的问题。由于大家已习惯了微软的访问方法，总想用类似的思路来找到软盘和光盘。但在Linux下，却沿袭了UNIX将设备当作文件来处理的方法。所以要访问软盘和光盘，就必须先将它们装载到Linux系统的/mnt目录中来。
装载的命令是mount，格式如下：mount -t 文件系统类型 设备名 装载目录
文件 ...
linux 卸载 mysql
1说明
mysql++是mysql开发团队为OO编程提供的C++开发库，是对mysql提供的底层数据存取API进行的C++封装，用其手册上的说法是：复杂而又庞大，当然功能也更强大。
Mysql++ 为我们提供了较好的数据库编程界面，是在Mysql上开发的一个基础开发库。
2 安装环境
MySql++ 当前稳定发布版本mysql++ 1.7.9
我们的Linux环境为： ...
linux下scp远程拷贝包含空格的目录或者文件的解决方法
今天遇到个白痴问题，用了linux 这么久了，竟然还出现如此低级的错误。
记录下，免得又忘记。
描述：
今天需要远程拷贝一些文件到电脑上，ubuntu的。 远程电脑是debian的。
文件和目录包含大量的空格，采用scp拷贝,例:
scp -r root@192.168.0.51:/home/xxj/Documents/files/xx xx jj.tar.gz ./
最开始就意识到 ...
配置Linux 保证其系统的安全
众所周知，网络安全是一个非常重要的课题，而服务器是网络安全中最关键的环节。Linux被认为是一个比较安全的Internet服务器，作为一种开放源代码操作系统，一旦Linux系统中发现有安全漏洞，Internet上来自世界各地的志愿者会踊跃修补它。然而，系统管理员往往不能及时地得到信息并进行更正，这就给黑客以可乘之机。相对于这 ...
LINUX下的文件结构介绍
/bin 二进制可执行命令
/dev 设备特殊文件
/etc 系统管理和配置文件
/etc/rc.d 启动的配置文件和脚本
/home 用户主目录的基点，比如用户user的主目录就是/home/user，可以用~user表示
/lib 标准程序设计库，又叫动态链接共享库，作用类似windows里的.dll文件
/sbin 系统管理命令，这里存放的是系统管理员使用的管理程 ...
linux硬盘检测健康状态
定期检查硬盘的健康状态是每个系统管理员必须要做的事情。说到硬盘的健康状态，这里就得先说一下S.M.A.R.T.了。
SMART是一种磁盘自我分析检测技术，早在90年代末就基本得到了普及
每一块硬盘（包括IDE、SCSI）在运行的时候，都会将自身的若干参数记录下来
这些参数包括型号、容量、温度、密度、扇区、寻道时间、传输、误码 ...
Linux lsof 命令使用详细说明
====== lsof简介 ======
lsof（list open files）是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。所以如传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等，系统在后台都为该应用程序分配了一个文件描述符，无论这个文件 ...
Linux chown命令详细介绍和使用实例（改变文件或目录的所有者）
系统管理员经常使用chown命令，在将文件拷贝到另一个用户的名录下之后，让用户拥有使用该文件的权限。
1．命令格式：
复制代码代码如下:chown [选项]... [所有者][:[组]] 文件...
2．命令功能：
通过chown改变文件的拥有者和群组。在更改文件的所有者或所属群组时，可以使用用户名称和用户识别码 ...
Linux下DNS服务器架设攻略 2
named 这个主体进程在启动时需要读取一个初始化文件，缺省为 /etc/named.boot。另外建议大家使用Linux自带的ndc工具来进行启动、中止、重启动、刷新DNS数据、输出DNS数据等多种调试，有关此工具的详细使用，请大家参见Linux技术文档。
第一步：配置建立named.boot。因为这是named进程首先要读取的配置文件，但此文件默 ...
linux下vsFTPd提示530 Login incorrect错误的原因
方法一：
登录出现 vsftpd 530 login incorrect 报错。
解决方法：
cp Path/RedHat/vsftpd.pam /etc/pam.d/ftp
path为vsftp解压缩源文件目录
这是因为我们RHEL启用了PAM,所在用到vsftp时需要用到 /etc/pam.d/ftp这个文件（默认源码安装的不会有这个文件），因此除了匿名用户外本地用户无法登录。
方法二：
在测 ...
Linux下查看某一个程序所使用的内存方法
在 Linux 上进行开发和运营维护的时候，免不了要查看某一个程序所占用内存的情况。有很多个命令都可以达到我们的需求，这里给大家列举几个：
1：
top -p pid 查看程序的情况
2：
ps -aux | grep process_name
3：
cat /proc/pid/status
这里会打印出当前进程详细的情况，其中，内存是 VmRSS。
注：pid是要替换成一 ...
Linux系统中提示/usr/bin/ld: cannot find -lxxx错误的通用解决方法
在linux环境编译应用程式或lib的source code时常常会出现如下的错误讯息：
复制代码代码如下:
/usr/bin/ld: cannot find -lxxx
这些讯息会随着编译不同类型的source code 而有不同的结果出来如：
复制代码代码如下:/usr/bin/ld: cannot find -lc
/usr/bin/ld: cannot find -lltdl
/usr/bin/ld: cannot find -lXtst
其中 ...
Linux yum安装过程图文详解
Yum可以从众多软件包仓库中搜索软件的依赖关系，因此可以减少由于依赖关系带来的问题。还有就是我们在使用图形界面时，在应用程序-添加删除软件下的浏览里是空的。如下图：
第一种方法：（推荐）第一步：新建一个文件夹，并把光盘内的所有文件复制到这个文件夹里：[root@localhost ~]# mkdir /yum[root@localhost ~]# cp -r ...
使用 WinSCP 管理 Linux VPS/服务器上的文件 图文教程
Linux上经常会经常需要编辑文件，特别是Linux VPS/服务器安装好系统之后配置环境会需要修改很多的配置文件等，对于常用Linux的基本上都能够熟练使用vi或者nano等SSH下面的文件编辑工具，但是对于新接触VPS或者服务器的Linux新手来说还是稍微有些难度的，今天介绍一款适合新手或者懒人使用的Windows上管理远程Linux VPS/服务 ...
linux下零拷贝技术介绍
传统的数据传输方式
很长一段时间内，数据拷贝的认识仅仅停留在应用程序层，实际上隐藏在背后的数据拷贝行为比想象的要多的多。在传输数据的时候，用户应用程序需要分配一块合适大小的缓冲区来存放需要传输的数据。用户从应用程序中读取数据，然后发送出去，只需要两个系统调用read,write即可完成数据传输工作，应用程序并 ...
在linux系统中安装virtualbox增强功能(增强包)的详细步骤
1. 点击菜单栏 设备 –> 分配光驱 –> 选择一个虚拟光盘，找到VirtualBox安装目录下的VBoxGuestAdditions.iso，加载此镜像。
2. 启动Linux系统并用root身份登入系统
3. 执行挂载命令，将虚拟光盘挂在到 /mnt/cdrom，如果没有cdrom目录，则先创建之。
复制代码代码如下:
mkdir /mnt/cdrom
mount -t auto -r ro /d ...
Linux架设DNS服务器(二)
2. 安装服务器软件
2.1 取得bind软件包(现在新的版本为8.2.2 p5)
从bind的主页http://www.isc.org上取得最新stable版的三个文件:
bind-contrib.tar.gz
bind-doc.tar.gz
bind-src.tar.gz
或者从http://www.redhat.com上取得三个文件:
bind-8.2.2-p5-9.i386. ...
真正实现限制SSH单用户登录的方法
使用方法： 用root权限在后台(比如screen里)运行这个脚本
复制代码代码如下:
#!/usr/bin/perl -w
use strict;
sub main
{
my @lines = `ps -eo user,pid,etime,cmd | grep sshd`;
my $users;
for my $line (@lines) {
if(my ($user, $pid, $etime, $cmd) = $line =~ /^([^s]+)s+(d+)s+([^s]+)s+(sshd:.+)$/) {
n ...
linux修改ssh端口的二种方法
平滑修改linux中的sshd端口
第一种：
1、假如要改SSH的默认端口（22），那么你只要修改：
复制代码代码如下:
/etc/ssh/sshd_config中Port 22
这里把22改成自己要设的端口就行了，不过千万别设和现已有的端口相同哦，以防造成未知后果。
2、假如要限制SSH登陆的IP，那么可以如下做：
先：修改/etc/hosts.deny，在其中加入
...
