mysql 数据同步方案
服务器：两台windows，mysql数据库，数据量不大。python
网络：不能互联，只能经过邮件（单向）进行通信。mysql
需求，A数据库天天同步到B数据库，实时性要求不高，天天便可。正则表达式
解决方案：mysql 有 dump 命令，方便得进行数据库建立以及数据移植。考虑天天程序将相关表的 dump脚本 自动邮件到 B服务器，而后B 服务器执行 dump 脚本入库。sql
A 服务器如今要作2件事，1.生成 dump 脚本，2.邮件到B服务器。数据库
python 有发邮件的库，可是公司的exchange邮箱的登陆验证方法是自带库没有的c#
server = smtplib.SMTP(mail_host,587) #server.connect(mail_host) print server.ehlo(mail_host)#打印出邮件服务器的验证方法
，无奈之下，选择用c#库去作发邮件这件事情，代码以下, Email.cs:windows
using System;
using System.IO;
using System.Net.Mail;
using System.Text;
using System.Threading;
using System.Configuration;
namespace EmailRpc
{
/// <summary>
/// 邮件报警
/// </summary>
public class Email
{
private static string Sender = ConfigurationManager.AppSettings["Sender"];
private static string Password = Encoding.Default.GetString(Convert.FromBase64String(ConfigurationManager.AppSettings["Password"]));
private static string SenderName = ConfigurationManager.AppSettings["SenderName"];
private static int Port = int.Parse(ConfigurationManager.AppSettings["Port"]);
private static string EmailServer = ConfigurationManager.AppSettings["EmailServer"];
private static bool EnableSSL = Boolean.Parse(ConfigurationManager.AppSettings["EnableSSL"]);
//附件目录
private static string AttachmentsDir = ConfigurationManager.AppSettings["AttachmentsDir"];
//附件后缀
private static string FilePostfix = ConfigurationManager.AppSettings["FilePostfix"];
/// <summary>
/// 邮件配置
/// </summary>
/// <param name="emailServer"></param>
/// <param name="port"></param>
/// <param name="sender"></param>
/// <param name="password"></param>
/// <param name="senderName"></param>
public static void ConfigEmail(string emailServer, int port, string sender, string password, string senderName, bool enableSSL)
{
Sender = sender;
Password = password;
SenderName = senderName;
Port = port;
EmailServer = emailServer;
EnableSSL = enableSSL;
}
/// <summary>
/// 发送邮件实现了IAlarm接口的Alarm()方法
/// </summary>
/// <param name="sendTo"></param>
/// <param name="ccTo">抄送 2014-4-10 wangxinxin</param>
/// <param name="title"></param>
/// <param name="content"></param>
/// <param name="attachment"></param>
public static bool Send(Message message)
{
try
{
string sendTo = message.SendTo;
string ccTo = message.CcTo;
string title = message.Title;
string content = message.Content;
//ParameterizedThreadStart parmThread = new ParameterizedThreadStart(SendThread);
//Thread thread = new Thread(parmThread);
string[] parm = { sendTo, ccTo, title, content };
//thread.Start(parm);
SendThread(parm);
return true;
}
catch (Exception)
{
return false;
}
// 由于发送邮件可能耗时较长，因此放到单独的线程中去执行
}
private static void SendThread(string[] parms)
{
//string[] p = parms as string[];
if (parms != null && parms.Length > 2)
{
string sendTo = parms[0];
string ccTo = parms[1];
string title = parms[2];
string content = parms[3];
MailMessage msg = new MailMessage();
foreach (var to in sendTo.Split('|'))
{
// 添加收件人
if (!string.IsNullOrEmpty(to))
{
msg.To.Add(to);
}
}
//添加密抄
if (!string.IsNullOrEmpty(ccTo))
{
foreach (var to in ccTo.Split('|'))
{
if (!string.IsNullOrEmpty(to))
{
msg.Bcc.Add(new MailAddress(to));
}
}
}
Encoding encoding = Encoding.UTF8;
//发件人信息
msg.From = new MailAddress(Sender, SenderName, encoding);
//获取邮件附件，根据目录，以及附件后缀。
string[] filenames = Directory.GetFiles(AttachmentsDir, FilePostfix);
try
{
msg.Subject = title; //邮件标题
msg.SubjectEncoding = encoding; //标题编码
msg.Body = content; //邮件主体
msg.BodyEncoding = encoding;
msg.IsBodyHtml = true; //是否HTML
msg.Priority = MailPriority.Normal; //优先级
foreach (string file in filenames)
{
msg.Attachments.Add(new Attachment(file));//将附件附加到邮件消息对象中
}
SmtpClient client = new SmtpClient();
client.Credentials = new System.Net.NetworkCredential(Sender, Password);
//client.DeliveryMethod = SmtpDeliveryMethod.Network;
client.Port = Port;
client.Host = EmailServer;
client.EnableSsl = EnableSSL;
client.Send(msg);
}
catch (Exception e)
{
Console.WriteLine(e);
}
}
}
}
public class Message
{
public string SendTo { get; set; }
public string CcTo { get; set; }
public string Title { get; set; }
public string Content { get; set; }
}
}
一个console程序，program.cs:服务器
using System;
using System.Collections.Generic;
using System.Configuration;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
namespace EmailRpc
{
class Program
{
static void Main(string[] args)
{
//加密密码
//byte[] bytes = Encoding.Default.GetBytes("123456");
//Console.WriteLine(Convert.ToBase64String(bytes));
//解密
//byte[] outputb = Convert.FromBase64String("Zmx5aW5nXzIyMg==");
//string orgStr = Encoding.Default.GetString(outputb);
//Console.WriteLine(orgStr);
string sendto = ConfigurationManager.AppSettings["SendTo"];
string title = ConfigurationManager.AppSettings["Title"];
Message m = new Message()
{
SendTo = sendto,
Title = title,
Content = DateTime.Now.ToString()
};
Email.Send(m);
Console.WriteLine("Email sent!");
//Console.ReadKey();
}
}
}
编译后生成 sendMail.exe , 这个程序运行的结果，就是将指定目录下的 某后缀的全部文件做为附件发送到指定收件人。我配置的目录是当前目录，后缀是sql. 而后编写bat文件，生成 dump sql ，调用sendMail.exe , start.bat 文件：网络
d: cd D:\dump mysqldump -h [host] -u root --password=[password] emt umeng1 > umeng1.sql mysqldump -h [host] -u root --password=[password] emt umeng2 > umeng2.sql sendEmail.exe
好啦。添加windows定时任务，定时自动执行上述 start.bat 文件。A 服务器结束。app
======================================================================
B 服务器要作的就是读取邮件，下载附件，而且执行附件的sql，getEmailAttach.py:
#coding=utf-8
import poplib
import base64
import os
import re
import imp
import datetime
import email_config
from email import parser
#这个字典，key是正则表达式，值是相应的解析模块名,匹配不一样文件调用相应的解析模块
#好比当 123.sql 时，调用 dump.py 模块
parse_map = {
'^test.xlsx$':'test',
'.*\.sql$':'dump'
}
def getMailAttach():
pop_conn = poplib.POP3("10.1.1.1","110")
pop_conn.user('yanggaofei@happy.com')
pop_conn.pass_('123456')
length = len(pop_conn.list()[1])
if length>20:
point = length -20
else:
point = 0
#每次得到前20封邮件便可，看本身的业务须要了，邮件不那么频繁
messages = [pop_conn.retr(i) for i in range(point, length+1)]
messages = ["\n".join(mssg[1]) for mssg in messages]
messages = [parser.Parser().parsestr(mssg) for mssg in messages]
i=0
for message in messages:
i = i+1
m_from = message["From"]
m_to = message["To"]
m_subject = message["Subject"]
#解码。邮件中有中文时候
if(message["From"].find('?B?') != -1):
m_from = base64.decodestring(message["From"].split('?')[3])
if(message["To"].find('?B?') != -1):
m_to = base64.decodestring(message["To"].split('?')[3])
if(message["Subject"].find('?B?') != -1):
m_subject = base64.decodestring(message["Subject"].split('?')[3])
mailName = "s%" % (m_subject)
#邮件的标题以[DATA]开头的邮件，认为是须要程序解析的邮件，其它邮件则不用管
if(not m_subject.startswith('[DATA]')):
continue
#邮件日期不比最后解析日期新的邮件，不执行，避免同一份邮件屡次解析
try:
last_date = datetime.datetime.strptime(email_config.last_date,'%Y/%m/%d %H:%M:%S')
except:
last_date = datetime.datetime.strptime('2014/11/11 00:00:00','%Y/%m/%d %H:%M:%S')
m_date = datetime.datetime.strptime(message["Date"][:-6],'%a, %d %b %Y %H:%M:%S')
if(not m_date > last_date):
continue
print m_from
print m_to
print message["Date"]
print m_subject
email_config.last_date = m_date.strftime('%Y/%m/%d %H:%M:%S')
for part in message.walk():
fileName = part.get_filename()
contentType = part.get_content_type()
#save attachment
if fileName:
fileName = fileName.decode('utf-8')
if(fileName.find('?B?') != -1):
fileName = base64.decodestring(fileName.split('?')[3])
data = part.get_payload(decode=True)
fEx = open(fileName,'wb')
fEx.write(data)
fEx.close()
moduleName = ''
for key in parse_map.keys():
if(re.match(key,fileName)):
moduleName = parse_map[key]
break
print moduleName
if(moduleName != ''):
try:
#动态加载module,在scripts 目录下找同名module
parseModule = imp.load_module(moduleName,*imp.find_module(moduleName,['./scripts']))
print ' load_module: ' + moduleName
parseModule.parse(fileName)
except Exception,e:
print e
#删除附件中的图片等多余文件
for f in os.listdir('./'):
if os.path.isfile(f):
if(f.endswith('.png') or f.endswith('.jpg') or f.endswith('wmz')):
os.remove(f)
pop_conn.quit()
#write last_date
config_file = open('email_config.py','w')
config_file.write('last_date = "' + email_config.last_date + '"')
config_file.close()
getMailAttach()
上述文件会在登陆邮件服务器后，自动获取最新20封邮件，找出其中以'[DATA]' 打头的邮件，而且邮件日期比上次程序执行日期新的文件，取其附件。而后调用 ./scripts 目录下的解析文件，我将解析文件放在scripts目录下，会根据文件名动态加载，下面咱们看 scripts 下 dump.py 文件(scripts 目录下放一个空的 __init__.py , 这样python 就会将此路径加入到 寻找模块的path):
# coding=utf8
import xlrd
import sys
import MySQLdb
import datetime
import os
import stat
import shutil
def parse(file):
values = []
if(file.split('.')[-1] != 'sql'):
print '---skip' + file
return
file_object = open(file)
sql = file_object.read()
try:
conn = MySQLdb.connect(host=config.mysql_host,user=config.mysql_user,passwd=config.mysql_passwd,db='emt',port=config.mysql_port,charset='utf8')
cur = conn.cursor()
#执行dump 的 sql ，数据建表入库
cur.execute(sql)
print ' dump table success: ' + file
except MySQLdb.Error,e:
print "Mysql Error %d: %s" % (e.args[0], e.args[1])
cur.close()
conn.close()
file_object.close()
if(os.path.exists('tmp/'+file)):
os.chmod('tmp/'+file,stat.S_IWRITE)#去掉只读属性
os.remove('tmp/'+file)
shutil.move(file,'tmp/')
print ' move filt to temp: ' + file
print ' success!'
if __name__ == '__main__':
reload(sys)
sys.setdefaultencoding('utf-8')
exec "import CONFIG as config"
print '=='*10
#os.remove('../tmp/test.xlsx')
#shutil.move('../test.xlsx','tmp/')
uipath = unicode('../ss.sql' , "utf8")
parse(uipath)
else:
exec "import scripts.CONFIG as config"
在B服务器上添加定时任务，10分钟执行一下 获取邮件附件的脚本。
Ok了，测试成功 ：）。
相关文章
- 1. ES数据同步方案
- 2. mysql2deepgreen数据同步方案
- 3. MySQL数据实时同步Elasticsearch 方案
- 4. mysql与ElasticSearch数据同步方案
- 5. MySQL ES 数据同步方案
- 6. mysql数据同步es方案思考
- 7. Mysql数据同步ElasticSearch方案
- 8. Mysql数据同步Elasticsearch方案总结
- 9. 数据同步方案
- 10. MySQL主从同步配置及存量数据同步方案
- 更多相关文章...
- • MySQL下载步骤详解 - MySQL教程
- • MySQL INSERT：插入数据（添加数据） - MySQL教程
- • Flink 数据传输及反压详解
- • TiDB 在摩拜单车在线数据业务的应用和实践
相关标签/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
欢迎关注本站公众号,获取更多信息
